标签，可天然隔离导航栏、页脚、广告等干扰区块。实测该页面存在多个 l-content div，最后一个（content_divs[-1]）即为新闻列表所在主体区域。以下是优化后的完整代码（含健壮性增强）：
import requests
from bs4 import BeautifulSoup
import csv
from urllib.parse import urljoin
url = "https://www.php.cn/link/84f9a02942fc8b5734f0a027f59f0a58"
response = requests.get(url)
response.raise_for_status() # 主动抛出HTTP错误
soup = BeautifulSoup(response.text, 'html.parser')
# ✅ 精准定位主内容区：取最后一个 l-content div（即新闻列表容器）
content_divs = soup.find_all('div', class_='l-content')
if not content_divs:
raise ValueError("未找到 l-content 容器，请检查页面结构是否变更")
content_div = content_divs[-1]
# ✅ 仅在此容器内查找链接，彻底规避导航栏干扰
links = content_div.find_all('a')
with open('hipaa_resolution_agreements.csv', mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['Title', 'URL']) # 表头
for link in links:
link_url = link.get('href')
link_title = link.text.strip()
# ✅ 移除URL路径过滤，仅校验基础有效性
if link_url and link_title:
# ✅ 使用 urljoin 处理相对URL（如 /about/news/2023/...）
absolute_url = urljoin(url, link_url)
writer.writerow([link_title, absolute_url])
print("✅ 数据已成功写入 hipaa_resolution_agreements.csv（共提取 {} 条有效链接）".format(len([l for l in links if l.get('href') and l.text.strip()])))关键改进说明：
-
容器优先策略：soup.find_all('div', class_='l-content')[-1] 确保只处理新闻正文区域，左侧导航栏的“Resolution Agreements”链接自然被排除；
-
移除脆弱的URL匹配：不再依赖 "/hipaa/.../agreements/" 字符串判断，避免误伤 /about/news/ 类真实协议新闻；
-
相对URL鲁棒处理：使用 urllib.parse.urljoin() 将页面内相对路径（如 /about/news/2023/...）自动补全为绝对URL，确保CSV中链接可直接访问；
-
异常防护：添加 response.raise_for_status() 和容器存在性校验，便于后续维护与调试。
注意事项：
⚠️ HHS网站可能更新CSS类名（如 l-content → main-content），建议定期用浏览器开发者工具验证容器选择器；
⚠️ 部分新闻条目可能含空链接或纯图标链接，link.text.strip() 已过滤空白，但若需更高精度，可进一步结合 link.parent.get('class') 或相邻文本特征做二次筛选；
✅ 本方案符合Robots.txt规范（该页面允许抓取），但仍建议添加 time.sleep(1) 以尊重服务器负载（生产环境必备）。
通过将爬虫逻辑从“匹配URL”转向“定位内容”，你不仅解决了当前问题，更掌握了一种可复用于多数政府/企业官网的通用抓取范式：结构化页面中，语义化容器永远比字符串路径更可靠。
