java1234开源博客系统
博客信息

HttpClient使用代理IP

发布时间:『 2017-02-01 10:28』  博客类别:httpclient  阅读(11782) 评论(0)

在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。


这时候,代理IP就派上用场了。


关于代理IP的话 也分几种 透明代理、匿名代理、混淆代理、高匿代理


1、透明代理(Transparent Proxy)


REMOTE_ADDR = Proxy IP


HTTP_VIA = Proxy IP


HTTP_X_FORWARDED_FOR = Your IP


透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。


2、匿名代理(Anonymous Proxy)


REMOTE_ADDR = proxy IP


HTTP_VIA = proxy IP


HTTP_X_FORWARDED_FOR = proxy IP


匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。


还有一种比纯匿名代理更先进一点的:混淆代理,见下节。


3、混淆代理(Distorting Proxies)


REMOTE_ADDR = Proxy IP

HTTP_VIA = Proxy IP

HTTP_X_FORWARDED_FOR = Random IP address


如上,与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真:-)


4、高匿代理(Elite proxy或High Anonymity Proxy)


REMOTE_ADDR = Proxy IP


HTTP_VIA = not determined


HTTP_X_FORWARDED_FOR = not determined


可以看出来,高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。


一般我们搞爬虫 用的都是 高匿的代理IP;


那代理IP 从哪里搞呢 很简单  百度一下,你就知道 一大堆代理IP站点。  一般都会给出一些免费的,但是花点钱搞收费接口更加方便;


比如 http://www.66ip.cn/


httpClient使用代理IP代码:

package com.open1111.httpclient.chap04;


import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class Demo1 {

	public static void main(String[] args)throws Exception {
		CloseableHttpClient httpClient=HttpClients.createDefault(); // 创建httpClient实例
		HttpGet httpGet=new HttpGet("https://www.taobao.com/"); // 创建httpget实例
		HttpHost proxy=new HttpHost("116.226.217.54", 9999);
		RequestConfig requestConfig=RequestConfig.custom().setProxy(proxy).build();
		httpGet.setConfig(requestConfig);
		httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0");
		CloseableHttpResponse response=httpClient.execute(httpGet); // 执行http get请求
		HttpEntity entity=response.getEntity(); // 获取返回实体
		System.out.println("网页内容:"+EntityUtils.toString(entity, "utf-8")); // 获取网页内容
		response.close(); // response关闭
		httpClient.close(); // httpClient关闭
	}
}


建议大家用国内代理IP 以及主干道网络大城市的代理IP 访问速度快;



关键字:   httpClient     代理IP  
关注Java1234微信公众号
博主信息
Java1234_小锋
(知识改变命运,技术改变世界)
Powered by Java1234 V3.0 Copyright © 2012-2016 Java知识分享网 版权所有