用 Node.js 的 http 来抓取某页面：
6
680var http = require('http');
http.get('http://example.com', function (res) {
console.log(res.statusCode);
});
返回的状态码是 404，但是网页能够正常访问，我用自己服务器测试也是一样，所以应该没有 ban 掉我的 ip。这是否代表着对方已经通过服务器端禁掉了他人的抓取？
还有就顺带求教，这是如何做到的？
胡乱猜测，求各位大大指点一下，以上。
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
收藏
检查一下
User-Agent和Referer，另外再看看Cookie，还有那个网页是不是用Ajax动态生成的。你可以用Chrome的“开发者工具”或者Firebug看看浏览器再打开这个网页时都发了哪些东西，然后把这些东西都加到你的请求里去。
我猜可能是设置了 Content-Security-Policy
把浏览器发请求时的所有header都加上，应该可以的。
很简单，你的header没有UA，直接被服务器拦截成攻击，加上UA，Referer等就可以抓到了