如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求

php中文网

发布时间：2016-06-06 11:14:15

1968人浏览过

来源于php中文网

原创

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有useragent，而我们知道useragent是可以伪装的，useragent的本质是http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的useragent。

所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。

要获得ip的host，在windows下可以通过nslookup命令，在linux下可以通过host命令来获得，例如：

这里我在windows下执行了nslookup ip 的命令，从上图可以看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。这说明这个ip是一个google爬虫，google爬虫的域名都是 xxx.googlebot.com.

我们也可以通过python程序的方式来获得ip的host信息，代码如下：

import socket
def getHost(ip):
 try:
 result=socket.gethostbyaddr(ip)
 if result: return result[0], None
 except socket.herror,e:
 return None, e.message

上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。

常用蜘蛛的域名都和搜索引擎官网的域名相关，例如：

百度的蜘蛛通常是baidu.com或者baidu.jp的子域名

google爬虫通常是googlebot.com的子域名

微软bing搜索引擎爬虫是search.msn.com的子域名

搜狗蜘蛛是crawl.sogou.com的子域名

知鹿匠

知鹿匠教师AI工具，新课标教案_AI课件PPT_作业批改

下载

基于以上原理，我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面，该页面上提供了网页判断的工具和常见的google和bing的搜索引擎爬虫的ip地址。

附带常见搜索引擎蜘蛛的IP段：

蜘蛛名称	IP地址
Baiduspider	202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*
YodaoBot	202.108.7.215 202.108.7.220 202.108.7.221
Sogou web spider	219.234.81.* 220.181.61.*
Googlebot	203.208.60.*
Yahoo! Slurp	202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*
Yahoo ContentMatch Crawler	119.42.226.* 119.42.230.*
Sogou-Test-Spider	220.181.19.103 220.181.26.122
Twiceler	38.99.44.104 64.34.251.9
Yahoo! Slurp China	202.160.178.*
Sosospider	124124.115.0.*
CollapsarWEB qihoobot	221.194.136.18
NaverBot	202.179.180.45
Sogou Orion spider	220.181.19.106 220.181.19.74
Sogou head spider	220.181.19.107
SurveyBot	216.145.5.42 64.246.165.160
Yanga WorldSearch Bot v	77.91.224.19 91.205.124124.19
baiduspider-mobile-gate	220.181.5.34 61.135.166.31
discobot	208.96.54.70
ia_archiver	209.234.171.42
msnbot	65.55.104.209 65.55.209.86 65.55.209.96
sogou in spider	220.181.19.216

ps：https协议网页能够被搜索引擎收录吗

百度现在只能收录少部分的https，大部分的https网页无法收录。

不过我查询了google资料，Google能够比较好地收录https协议的网站。

所以如果你的网站是中文的，而且比较关注搜索引擎自然排名流量这块，建议尽量不要将所有内容都放到https中去加密去。

可考虑的方式是：

1、对于需要加密传递的数据，使用https，比如用户登录以及用户登录后的信息；

2、对于普通的新闻、图片，建议使用http协议来传输；

3、网站首页建议使用http协议的形式。

如何解决网页爬虫中因HTML结构误判导致的NaN链接值问题

如何在网页爬虫中正确提取超链接并避免 NaN 值

解决网络爬虫中 Player_URL 字段出现 NaN 值的问题

如何在网页爬虫中正确提取超链接避免 NaN 值

构建通用电商商品信息爬虫：基于动态选择器与模板化解析的自动化方案

相关专题

Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开，深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例，分析内存安全保障原理与零成本抽象优势，并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学，掌握在高性能与安全性并重场景中的工程实践能力。

2026.03.05

PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开，重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景，深入分析性能瓶颈定位与优化思路，帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

2026.03.04

AI安装教程大全

2026最全AI工具安装教程专题：包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好，附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新，收藏这一篇就够了，让AI安装不再报错！

2026.03.04

Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践，系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例，帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

2026.03.03

C++高性能网络编程与Reactor模型实践

本专题围绕 C++ 在高性能网络服务开发中的应用展开，深入讲解 Socket 编程、多路复用机制、Reactor 模型设计原理以及线程池协作策略。内容涵盖 epoll 实现机制、内存管理优化、连接管理策略与高并发场景下的性能调优方法。通过构建高并发网络服务器实战案例，帮助开发者掌握 C++ 在底层系统与网络通信领域的核心技术。

2026.03.03

Golang 测试体系与代码质量保障：工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链（如go test）、单元测试、集成测试及端到端测试实践，结合代码覆盖率分析、静态代码扫描（如go vet）和动态分析工具，建立全链路质量监控机制。通过自动化测试框架、持续集成（CI）流水线配置及代码审查规范，实现测试用例管理、缺陷追踪与质量门禁控制，确保代码健壮性与可维护性，为高可靠性工程系统提供质量保障。

2026.02.28

Golang 工程化架构设计：可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则，涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术，帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

2026.02.28

Golang 性能分析与运行时机制：构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面，深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略，并结合实际案例剖析 Go 程序的运行时行为，帮助开发者掌握构建高性能应用的关键技能。

2026.02.28