java1234开源博客系统
最新博客
  • 2017年02月06日 HttpClient连接超时及读取超时 摘要: HttpClient连接超时及读取超时httpClient在执行具体http请求时候 有一个连接的时间和读取内容的时间；HttpClient连接时间所谓连接的时候 是HttpClient发送请求的地方开始到连接上目标url主机地址的时间，理论上是距离越短越快，线路越通畅越快，但是由于路由复杂交错，往往连接上的... 发表于 2017-02-06 20:12 阅读(8962) 评论(0)
  • 2017年02月01日 HttpClient使用代理IP 摘要: 在爬取网页的时候，有的目标站点有反爬虫机制，对于频繁访问站点以及规则性访问站点的行为，会采集屏蔽IP措施。这时候，代理IP就派上用场了。关于代理IP的话 也分几种 透明代理、匿名代理、混淆代理、高匿代理1、透明代理(Transparent Proxy)REMOTE_ADDR = Proxy IPHTTP_VI... 发表于 2017-02-01 10:28 阅读(11733) 评论(0)
  • 2017年01月19日 HttpClient获取响应状态Status 摘要: HttpClient获取响应状态Status我们HttpClient向服务器请求时，正常情况 执行成功 返回200状态码，不一定每次都会请求成功，比如这个请求地址不存在 返回404服务器内部报错 返回500有些服务器有防采集，假如你频繁的采集数据，则返回403 拒绝你请求。当然 我们是有办法的 后面会讲到用代... 发表于 2017-01-19 18:13 阅读(18272) 评论(0)
  • 2017年01月19日 HttpClient获取响应内容类型Content-Type 摘要: HttpClient获取响应内容类型Content-Type响应的网页内容都有类型也就是Content-Type通过火狐firebug，我们看响应头信息：当然我们可以通过HttpClient接口来获取；HttpEntity的getContentType().getValue() 就能获取到响应类型； pac... QQ鎴浘20170119175851.jpg    发表于 2017-01-19 18:04 阅读(18932) 评论(0)
  • 2017年01月19日 HttpClient设置请求头消息User-Agent模拟浏览器 摘要: HttpClient设置请求头消息User-Agent模拟浏览器比如我们请求 www.tuicool.com 用前面的代码：package com.open1111.httpclient.chap02;import org.apache.http.HttpEntity;import org.apache.ht... QQ鎴浘20170119174538.jpg    QQ鎴浘20170119174605.jpg    发表于 2017-01-19 17:48 阅读(13357) 评论(0)
  • 2017年01月15日 HttpClient HelloWorld实现 摘要: HttpClient HelloWorld实现前面我们介绍了HttpClient 这个框架主要用来请求第三方服务器，然后获取到网页，得到我们需要的数据；所以今天搞个简单实例，让大家体验一把。首先建一个Maven项目，然后添加httpClient依赖，版本是4.5 or... QQ鎴浘20170115173034.jpg    发表于 2017-01-15 17:37 阅读(7174) 评论(0)
  • 2017年01月15日 HttpClient简介 摘要: HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。官方站点：http://hc.apache.org/最新版本4.5 http://hc.apache.or... 发表于 2017-01-15 16:58 阅读(6715) 评论(0)
关注Java1234微信公众号
博主信息
Java1234_小锋
(知识改变命运，技术改变世界)
按日志类别
按日志日期
友情链接
Powered by Java1234 V3.0 Copyright © 2012-2016 Java知识分享网 版权所有