扫码关注官方订阅号
业精于勤,荒于嬉;行成于思,毁于随。
webmagic
简单点的可以用Jsoup
Jsoup 的优势是解析抓取到的网页。对于需要回话的复杂业务系统有时候还是 会抓取不到数据。(做入门级的抓取确实好用)
localHttpURLConnection 来抓取基本是没出过什么问题的。
httpclient 抓取也是基本没出过什么问题。
现在发现好像要做一个 爬虫也不容易啊 。。。。
抓取网络数据可以用Jsoup,不过还是推荐你用Python写网络爬虫,有很多优秀的框架。
一般都是自己写,开源的软件抓取的数据很多时候和自己需要的不一样http://www.duweixin.net/ 读微信 我的这个网站上的数据抓的是微信的,是用java写的。
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
webmagic
简单点的可以用Jsoup
Jsoup 的优势是解析抓取到的网页。对于需要回话的复杂业务系统有时候还是 会抓取不到数据。(做入门级的抓取确实好用)
localHttpURLConnection 来抓取基本是没出过什么问题的。
httpclient 抓取也是基本没出过什么问题。
现在发现好像要做一个 爬虫也不容易啊 。。。。
抓取网络数据可以用Jsoup,不过还是推荐你用Python写网络爬虫,有很多优秀的框架。
一般都是自己写,开源的软件抓取的数据很多时候和自己需要的不一样
http://www.duweixin.net/ 读微信 我的这个网站上的数据抓的是微信的,是用java写的。