Python爬虫：使用Requests和Re模块递归提取网站所有链接

聖光之護

发布时间：2025-11-02 14:21:00

922人浏览过

来源于php中文网

原创

python爬虫：使用requests和re模块递归提取网站所有链接

本文介绍了如何使用Python的requests和re模块，编写一个网络爬虫来递归地提取网站上的所有链接。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项，并提供了优化后的代码示例，避免无限循环，提高爬取效率。

网络爬虫是一种自动浏览网页并提取信息的程序。在Python中，requests库常用于发送HTTP请求获取网页内容，re模块则用于使用正则表达式从文本中提取所需信息。本文将介绍如何结合这两个库，编写一个递归爬虫，提取指定网站的所有链接。

爬虫实现思路

发送HTTP请求： 使用requests.get()方法向目标URL发送GET请求，获取网页的HTML内容。
提取链接： 使用re.findall()方法，通过正则表达式匹配HTML内容中的href属性，提取所有链接。
处理链接： 将提取到的相对链接转换为绝对链接，并去除锚点（#后面的部分）。
递归爬取： 对提取到的每个链接，递归调用爬取函数，继续提取链接。
避免无限循环： 使用集合记录已访问过的链接，避免重复爬取，防止无限循环。
限制爬取深度： 设置最大爬取深度，防止爬虫爬取过多的页面。

关键代码解析

以下是优化后的代码示例，并附带详细注释：

import requests
import re
from urllib.parse import urljoin, urlparse

def extract_links_from(url):
    """
    从指定URL的网页中提取所有链接。

    Args:
        url: 要提取链接的URL。

    Returns:
        包含所有链接的列表。如果请求失败，返回空列表。
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查HTTP状态码，如果不是200，则抛出异常
    except requests.exceptions.RequestException as e:
        print(f"Error fetching {url}: {e}")
        return []

    content = str(response.content)
    links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
    return links

def crawl(url, domain, visited=set(), max_depth=5):
    """
    递归地爬取指定网站的所有链接。

    Args:
        url: 要开始爬取的URL。
        domain: 目标网站的域名。
        visited: 已经访问过的URL集合，用于避免无限循环。
        max_depth: 最大爬取深度。

    Returns:
        包含所有爬取到的链接的列表。
    """
    if max_depth == 0 or url in visited:
        return []

    visited.add(url)
    href_links = extract_links_from(url)
    links_list = []

    for link in href_links:
        link = urljoin(url, link.split("#")[0])  # 将相对链接转换为绝对链接，并去除锚点
        parsed_link = urlparse(link)
        if parsed_link.netloc == domain and link not in visited:
            links_list.append(link)
            links_list.extend(crawl(link, domain, visited, max_depth - 1))  # 递归调用crawl函数
    return links_list

# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc

result = crawl(target_url, domain)
print(result)

代码解释：

阿里云AI平台

下载

立即学习“Python免费学习笔记（深入）”；

extract_links_from(url)函数：
- 使用requests.get(url)发送GET请求，获取网页内容。
- 使用response.raise_for_status()检查HTTP状态码，确保请求成功。如果请求失败，会抛出异常，防止程序崩溃。
- 使用re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)通过正则表达式提取href属性中的链接。正则表达式r'(?:href=")(.*?)"'用于匹配href="和"之间的内容，(?:...)表示非捕获分组，(.*?)表示匹配任意字符，直到遇到下一个"。
crawl(url, domain, visited=set(), max_depth=5)函数：
- 使用if max_depth == 0 or url in visited:作为递归终止条件，避免无限循环和超出最大深度。
- 使用visited.add(url)将当前URL添加到已访问集合中。
- 使用urljoin(url, link.split("#")[0])将提取到的相对链接转换为绝对链接，并去除锚点。
- 使用urlparse(link).netloc == domain判断链接是否属于目标域名。
- 使用links_list.extend(crawl(link, domain, visited, max_depth - 1))递归调用crawl函数，爬取新的链接。