Python 爬虫可以使用多种方法查找 URL，包括：解析 HTML 文档，使用 BeautifulSoup 库提取链接。从站点地图中查找 URL，获取包含网站所有 URL 的 XML 文件。使用 URL 库（urllib.parse）解析 URL，提取特定组件。利用爬虫框架（Scrapy 或 BeautifulSoup）自动提取 HTML 文档中的 URL。
Python 爬虫如何查找 URL
引言：
Python 爬虫的基本任务之一是找到可用于爬取的 URL。本文将介绍在 Python 爬虫中查找 URL 的各种方法。
1. 从 HTML 文档中解析
最常见的方法是解析 HTML 文档，并从其中提取 URL。可以使用 BeautifulSoup 等库轻松实现此操作：
from bs4 import BeautifulSoup
url = 'https://example.com'
soup = BeautifulSoup(requests.get(url).text, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'))2. 从站点地图中查找
站点地图是一个包含网站所有 URL 列表的 XML 文件。可以获取站点地图并从中提取 URL：
立即学习“Python免费学习笔记（深入）”；
import xml.etree.ElementTree as ET
url = 'https://example.com/sitemap.xml'
sitemap = ET.parse(url)
urls = []
for item in sitemap.iter('url'):
urls.append(item.find('loc').text)3. 使用 URL 库
Python 的 urllib 库提供了 urlparse 模块，可用于解析 URL 并从中提取各种组件，如方案、主机和路径。
import urllib.parse url = 'https://example.com/page1' parsed_url = urllib.parse.urlparse(url) print(parsed_url.netloc) # example.com print(parsed_url.path) # /page1
4. 使用爬虫框架
爬虫框架（如 Scrapy 和 BeautifulSoup）通常提供内置功能，可以自动提取 HTML 文档中的 URL：
from scrapy.crawler import CrawlerProcess
process = CrawlerProcess()
process.crawl('example_spider')
process.start()结论：
根据网站的结构和可用性，可以使用多种方法在 Python 爬虫中查找 URL。这些方法包括解析 HTML 文档、从站点地图中查找、使用 URL 库和利用爬虫框架。通过有效地提取 URL，爬虫可以高效地爬取网站并提取所需数据。
