本文详解为何 requests + beautifulsoup 无法获取 dtcc 网站动态加载的搜索结果链接，并提供基于 selenium 的可靠解决方案，包括无头浏览器配置、元素定位、链接提取及与 beautifulsoup 协同使用的进阶技巧。
DTCC 官网（https://www.php.cn/link/8dc56b3dd5380fcd7402ce0fbc75cb1e）的搜索结果页面采用 JavaScript 动态渲染：搜索结果并非在初始 HTML 中静态存在，而是由前端脚本（如 React 或 AJAX）异步加载并插入 DOM。因此，仅用 requests 获取原始 HTML 响应后交由 BeautifulSoup 解析，根本无法捕获这些后期生成的链接——这正是你代码中 soup.find_all(attrs={'href': re.compile("http")}) 返回空集或无关链接的根本原因。
要正确提取这类链接，必须使用能执行 JavaScript 的浏览器自动化工具。Selenium 是最常用且稳定的选择。以下是一个完整、可运行的解决方案：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
search_url = "https://www.php.cn/link/8dc56b3dd5380fcd7402ce0fbc75cb1e?q=aggregated%20transaction%20data"
# 配置无头 Chrome（不显示浏览器窗口）
opts = Options()
opts.add_argument('--headless')
opts.add_argument('--no-sandbox')
opts.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(options=opts)
try:
driver.get(search_url)
# 等待搜索结果容器加载完成（更健壮的做法是使用 WebDriverWait）
time.sleep(5)
# 定位搜索结果区域，再查找其中所有 标签
results_container = driver.find_element(By.CLASS_NAME, 'search-results')
links = results_container.find_elements(By.TAG_NAME, 'a')
for link in links:
href = link.get_attribute('href')
if href and not href.startswith('#'): # 过滤锚点链接
print(href)
finally:
driver.quit() # 确保浏览器进程被释放⚠️ 注意事项：
- 显式等待优于 time.sleep()：生产环境中建议改用 WebDriverWait 配合 expected_conditions（例如 presence_of_element_located((By.CLASS_NAME, 'search-results'))），避免因网络波动导致等待不足或过度。
- 链接可能为相对路径：DTCC 的搜索结果链接多为 /documents/... 等相对 URL，需手动拼接基础域名：from urllib.parse import urljoin; full_url = urljoin('https://www.dtcc.com', href)。
- 与 BeautifulSoup 协同使用（推荐进阶方案）：若后续需复杂 HTML 解析（如提取标题、摘要、日期），可在 Selenium 加载完成后获取渲染后的源码，再交由 BeautifulSoup 处理：
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
for a in soup.select('.search-results a[href]'):
print(urljoin('https://www.dtcc.com', a['href']))总结：面对现代 SPA（单页应用）或 JS 渲染型搜索页，requests + BeautifulSoup 是“静态抓取”的黄金组合，但遇到动态内容时必须升级为“浏览器级抓取”。Selenium 不仅解决了可见性问题，还提供了精确的 DOM 控制能力——掌握其基本用法，是构建鲁棒网络爬虫的关键一步。
立即学习“Java免费学习笔记（深入）”；
