java1234开源博客系统
最新博客
  • 2017年04月14日 htmlunit 爬取百度云资源 摘要: 这里我们给出一个htmlunit实例，爬百度云；为了更好的体现htmlunit的优势，我们先用httpclient爬下；比如 https://pan.baidu.com/share/home?uk=305605848#category/type=0 这个是我的百度云用户首页我们现在要爬用户分享的文件 ；我们先... QQ鎴浘20170414142708.jpg    QQ鎴浘20170414143038.jpg    QQ鎴浘20170414143508.jpg    发表于 2017-04-14 14:38 阅读(11368) 评论(0)
  • 2017年04月13日 htmlunit 操作table表格（二） 摘要: 有时候表格比较复杂 有caption header body footer htmlunit同样提供了api支持：... 发表于 2017-04-13 14:46 阅读(7731) 评论(0)
  • 2017年04月13日 htmlunit 操作table表格（一） 摘要: htmlunit提供了对table表格的操作支持：这里先演示下操作简单表格... 发表于 2017-04-13 10:49 阅读(7363) 评论(0)
  • 2017年04月11日 htmlunit 模拟按钮点击 摘要: htmlunit有强大DOM模拟操作功能 包括给Input设置数据，模拟按钮点击等；我们现在来用htmlunit模拟本站博客搜索功能；比如我们要让htmlunit 填入查询关键字 然后点击 “搜索”，然后返回查询页面内容；我们审查元素，可以看到form的name input的name htmlunit可以通... QQ鎴浘20170411100051.jpg    QQ鎴浘20170411100407.jpg    QQ鎴浘20170411100606.jpg    发表于 2017-04-11 10:07 阅读(11984) 评论(0)
  • 2017年04月10日 htmlunit取消css,javascript支持 摘要: htmlunit默认是会对网页中的css,javascript解析的，对于一般的非Js加载页面采集，我们可以把css.javascript解析去掉，这样可以提高效率；但是对于Js加载的页面，就不能去掉了； 我们给下演示代码：package com.open1111;import java.io.IOExcep... 发表于 2017-04-10 10:26 阅读(7211) 评论(0)
  • 2017年04月10日 htmlunit 使用代理IP 摘要: 有时候频繁的爬取第三方站点内容，会被站点的防火墙拦截，IP拉黑，所以这时候，就要用到代理IP，拉黑一个就换一个；htmlunit实用代理的方式比较简单，WebClient重载构造方法就有提供，我们看下演示代码：package com.open1111;import java.io.IOException;im... QQ鎴浘20170410095900.jpg    发表于 2017-04-10 10:06 阅读(9250) 评论(0)
  • 2017年04月07日 htmlunit 获取指定元素 摘要: htmlunit 提供了丰富的api来获取指定元素 jsoup有的 htmlunit也有；我们这里举例：package com.open1111;import java.io.IOException;import java.net.MalformedURLException;import com.gargo... 发表于 2017-04-07 11:06 阅读(10118) 评论(0)
  • 2017年04月07日 htmlunit 模拟指定浏览器 摘要: 前面我们的测试代码是直接请求的，有些网站服务器防火墙会直接拒绝访问。我们现在用htmlunit来模拟下浏览器请求；主要是加了一些头消息；这个是我们用火狐调试工具看到的请求头小心里的属性，当然上面还有返回的头消息；我们用htmlunit可以模拟浏览器执行，内置的可以模拟IE，火狐，谷歌；WebClient构造方... QQ鎴浘20170407100204.jpg    QQ鎴浘20170407095601.jpg    发表于 2017-04-07 10:05 阅读(8738) 评论(0)
  • 2017年04月06日 htmlunit helloWorld实现 摘要: 首先我们新建一个Maven普通客户端项目，然后打开pom.xml引入htmlunit支持： net.sourceforge.htmlunit htmlunit 2.26 QQ鎴浘20170406104245.jpg    QQ鎴浘20170406104303.jpg    发表于 2017-04-06 10:45 阅读(7036) 评论(0)
  • 2017年04月06日 htmlunit简介 摘要: htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。是junit的扩展之一采用的是Rhinojs引擎。模拟js运行常规意义上，该项目可以用来进行页面的测试... 发表于 2017-04-06 10:07 阅读(6758) 评论(0)
关注Java1234微信公众号
博主信息
Java1234_小锋
(知识改变命运，技术改变世界)
按日志类别
按日志日期
友情链接
Powered by Java1234 V3.0 Copyright © 2012-2016 Java知识分享网 版权所有