P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。现在公开一个DHT网络爬虫网络爬虫供大家一起交流
P2P按其拓扑关系大致可以分为两类四种形式：
1.非结构化拓扑。包括中心化拓扑、分布式拓扑、半分布式拓扑，其分别对应着Napster、BitTorrent、Kazaa这三种知名的应用。
2.结构化拓扑。主要形式为分布式结构化拓扑，也就是所谓的DHT网络。
DHT——Distributed Hash Table 分布式哈希表：
1.哈希表被分割成不连续的块，每个节点被分配给一个属于自己的哈希块，并成为这个哈希块的管理者。
2.通过加密哈希函数，一个对象的名字或关键词被映射为128位或160位的散列值。
DHT网络的基本思想如下：
1.每一份资源都由一组关键字进行标识。
2.系统对其中的每一个关键字进行Hash，根据Hash的结果决定此关键字对应的那条信息（即资源索引中的一项）由哪个用户负责储存。
3.用户搜索的时候，用同样的算法计算每个关键字的Hash，从而获得该关键字对应的信息存储位置，并迅速定位资源。
DHT关键字定位：
1.DHT通过分布式散列函数，将输入的关键字唯一映射到某个节点上，然后通过某些路由算法同该节点建立连接。
2.每个节点并不需要保存整个系统的节点视图信息，只在节点中存储其邻近的几个后继节点信息，当一个节点收到一个查询操作时，如果它发现所查询的标识不在自己关联的区间内，那么该节点将会把该查询发送给其存储节点信息表中它认为最靠近目标的邻居。
3.每次转发都能更进一步地接近数据源。因此较少的路由信息就可以有效地实现到达目标节点。
DHT的具体算法实现过程：
（1）对每个节点的一定特征（如IP地址）进行Hash，使得到的每个节点的节点值唯一。将节点按照节点值的从小到大构成一个环（Chord环）。（此处节点值可以看作是新环中的IP地址）
（2）通过节点值，获取每个节点与下一个临近节点之间的距离，从而获得每个节点所需负责的值区间。（此过程类似于建立路由表）
（3）对每个节点上的资源提取关键字，并对关键字进行Hash，得到的Hash值按照（2）中的每个节点负责的区间进行分配，从而使每一项资源的存储信息都被存储在一个节点上。（此步骤获得了资源的索引列表）
（4）当搜索一项资源时，对其关键字进行Hash，得到的值与当前节点的值区间表相比较，从而获得资源的索引信息最有可能存在的节点。查询该节点，获取资源的索引，根据索引，即可找到资源所在的节点，并建立通信。
0
0
现在公开一个DHT网络爬虫网络爬虫供大家一起交流_MySQL
php中文网
发布时间：2016-06-01 13:07:22
|1262人浏览过
|来源于php中文网
原创
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
本专题围绕漫蛙漫画（Manwa / Manwa2）官网网页版入口进行整理，涵盖漫蛙漫画官方主页访问方式、网页版在线阅读入口、台版正版漫画浏览说明及基础使用指引，帮助用户快速进入漫蛙漫画官网，稳定在线阅读正版漫画内容，避免误入非官方页面。
13
2026.02.03
本专题汇总了俄罗斯知名搜索引擎 Yandex 的官网入口、免登录访问地址、中文登录方法与网页版使用指南，帮助用户稳定访问 Yandex 官网，并提供一站式入口汇总。无论是登录入口还是在线搜索，用户都能快速获取最新稳定的访问链接与使用指南。
114
2026.02.03
本专题专注讲解 Java 中常用的设计模式，包括单例模式、工厂模式、观察者模式、策略模式等，并结合代码重构实践，帮助学习者掌握 如何运用设计模式优化代码结构，提高代码的可读性、可维护性和扩展性。通过具体示例，展示设计模式如何解决实际开发中的复杂问题。
3
2026.02.03
本专题系统讲解 C# 异步编程与并发控制，重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目，帮助学习者掌握 如何在 C# 中编写高效的异步代码，提升应用的并发性能与响应速度。
2
2026.02.03
本专题深入讲解 Python 在强化学习（Reinforcement Learning）中的应用，重点介绍 深度Q网络（DQN） 及其实现方法，涵盖 Q-learning 算法、深度学习与神经网络的结合、环境模拟与奖励机制设计、探索与利用的平衡等。通过构建一个简单的游戏AI，帮助学习者掌握 如何使用 Python 训练智能体在动态环境中作出决策。
3
2026.02.03
热门下载
相关下载
精品课程
