0
0
藏色散人
发布时间：2019-05-25 15:00:37
|2481人浏览过
|来源于php中文网
原创
有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
相关文章
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
搜索引擎是一种互联网工具，用于帮助用户在网上查找信息。搜索引擎的目标是提供最准确、最有价值的搜索结果，使用户能够快速找到所需的信息。本专题为大家提供搜索引擎相关的各种文章、以及下载和课程。
361
2023.08.02
搜索引擎营销的主要模式包括：1. 竞价排名（ppc）；2. 搜索引擎优化（seo）；3. 本地搜索营销；4. 购物广告；5. 视频广告；6. 展示广告；7. 社交媒体营销；8. 移动广告。想了解更多搜索引擎营销的相关内容，可以阅读本专题下面的文章。
431
2024.05.20
本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法，包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程，以及常见代码质量问题的发现与修复。通过工程化示例，帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。
3
2026.01.16
热门下载
相关下载
精品课程
共7课时 | 0.5万人学习
共25课时 | 1.9万人学习
共6课时 | 0.3万人学习
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
