javascript - nodejs怎么爬post请求?
PHP中文网
PHP中文网 2017-04-11 12:14:50
[JavaScript讨论组]

1、爬虫: nodejs怎么爬ajax的post请求的异步加载的内容?

一个页面异步加载新出的内容怎么抓取?
一般的get请求: www.xxxx.com/page=xxx
get请求可以通过page+1这样加。比如控制页数,抓10页
get异步请求
比如张大妈的发现

http://faxian.smzdm.com/json_more?type=new×ort=1487861419

通过前几页,替换计算最后一个数字,实现抓取N页情况

2、post方式

而post请求,比如知乎的,一个问题下,‘更多’那个button是个post请求

https://www.zhihu.com/node/QuestionAnswerListV2

post也有url,但是无参数,直接访问可能就404。

我尝试过分析 response返回的 json字符,

{"r":0,
 "msg": (里面是新增的p的html代码,没有规律)
}

3、请问第2点说的post方式有没有办法抓?

PHP中文网
PHP中文网

认证0级讲师

全部回复(1)
阿神
var superagent = require('superagent');

superagent.post(url).
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号