有时候频繁的爬取第三方站点内容，会被站点的防火墙拦截，IP拉黑，所以这时候，就要用到代理IP，拉黑一个就换一个；

htmlunit实用代理的方式比较简单，WebClient重载构造方法就有提供，我们看下演示代码：

package com.open1111;


import java.io.IOException;
import java.net.MalformedURLException;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class HtmlUnitTest3 {

	public static void main(String[] args) {
		WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52,"202.106.16.36",3128); // 实例化Web客户端	
		try {
			HtmlPage page=webClient.getPage("http://www.java1234.com"); // 解析获取页面
			System.out.println("网页html:"+page.asXml()); // 获取Html
			System.out.println("====================");
			System.out.println("网页文本："+page.asText()); // 获取文本
		} catch (FailingHttpStatusCodeException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (MalformedURLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}finally{
			webClient.close(); // 关闭客户端，释放内存
		}
	}
		
}

这里代理IP如何找 ，很多网站都有提供的，我们介绍一个，http://www.66ip.cn

运行效果和前面一样，只是速度会慢点 毕竟用了代理；