本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 {{memberVm.disclosures.length}} 的动态计数，以及如何通过逆向分析 API 接口，直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。
本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 `{{memberVm.disclosures.length}}` 的动态计数，以及如何通过逆向分析 API 接口，直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。
在使用 BeautifulSoup 抓取土耳其资本市场监管平台（KAP）的公告搜索页（如 此链接）时，开发者常遇到一个典型问题：页面顶部显示的「34 bildirim bulundu」（共34条公告）在 HTML 源码中实际为 AngularJS 模板语法 {{memberVm.disclosures.length}}，而非已渲染的数字。这是因为该数值由前端 JavaScript 异步请求后端 API 并动态插入 DOM —— BeautifulSoup 仅解析静态 HTML，无法执行 JS，因此永远无法获取真实数字。
✅ 正确方案：直连后端 REST API
KAP 前端通过 POST 请求调用以下接口获取公告数据：
https://www.php.cn/link/bf8d643e574588f2bdbbbcbee8af2466/tr/api/memberDisclosureQuery
该接口返回标准 JSON 格式响应，其中 data 字段即为公告列表，其长度即为真实公告总数。无需 Selenium 或 Playwright 等重量级工具，纯 requests 即可高效解决。
立即学习“前端免费学习笔记（深入）”；
? 示例代码（获取总数 + 全量数据）
import requests
# KAP 公告查询 API 地址
API_URL = "https://www.php.cn/link/bf8d643e574588f2bdbbbcbee8af2466/tr/api/memberDisclosureQuery"
# 构造请求载荷（关键参数需与 URL 中一致）
payload = {
"bdkMemberOidList": [],
"bdkReview": "",
"discIndex": [],
"disclosureClass": "",
"fromDate": "",
"fromSrc": "Y",
"inactiveMkkMemberOidList": [],
"index": "",
"isLate": "",
"mainSector": "",
"market": "",
"memberType": None,
"mkkMemberOidList": [],
"prd": "",
"ruleType": "",
"sector": "",
"srcCategory": "4", # 对应 URL 中 cat=4
"subjectList": ["srp2205201503"], # 对应 URL 中 s=srp2205201503（主题编码）
"subSector": "",
"term": "",
"toDate": "",
"year": ""
}
# 发送 POST 请求（无需 headers 亦可成功，但建议添加以模拟真实浏览器）
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.post(API_URL, json=payload, headers=headers)
response.raise_for_status() # 检查 HTTP 错误
data = response.json()
# ✅ 获取真实公告总数（即列表长度）
total_count = len(data)
print(f"✅ 共检索到 {total_count} 条公告")
# ✅ 提取每条公告的关键字段（示例）
for i, item in enumerate(data[:5], 1): # 打印前5条作为示意
title = item.get("kapTitle", "N/A").strip()
publish_date = item.get("publishDate", "N/A")
subject = item.get("subject", "N/A")
print(f"{i}. [{publish_date}] {title[:50]}... → 主题: {subject}")✅ 输出示例：
✅ 共检索到 34 条公告
1. [Dün 17:44] BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş.... → 主题: Yeni İş İlişkisi
⚠️ 关键注意事项
- 参数一致性：subjectList 和 srcCategory 必须严格匹配原始 URL 中的 s= 和 cat= 参数，否则返回空或错误结果；
- 无 CSRF/Token 限制：该 API 当前未启用鉴权，可直接调用，但请遵守 KAP 使用条款 及 robots.txt；
- 分页处理：当前接口默认返回全部结果（最多约 100 条），如需更多数据，需分析 page、size 等潜在分页参数（可通过浏览器 DevTools → Network → Fetch/XHR 查看完整请求）；
- 编码兼容性：返回 JSON 默认为 UTF-8，无需额外解码；若涉及土耳其语字符（如 İ, ş, ç），确保终端/IDE 支持 UTF-8 显示；
- 稳定性建议：将 API 调用封装为函数，并添加重试机制（如 tenacity 库）和异常日志，提升生产环境鲁棒性。
? 总结
当网页内容由 JavaScript 动态渲染时，执着于“解析 HTML”是低效且不可靠的。真正的 Web 抓取进阶思维是：跳过 DOM，直击数据源头。通过 Chrome DevTools 的 Network 面板捕获 XHR 请求，复现 API 调用，即可获得结构化、高精度、高性能的数据。本例不仅解决了 {{memberVm.disclosures.length}} 的提取难题，更提供了一套可复用的「前端→后端 API」逆向抓取方法论——适用于绝大多数现代 SPA 站点。
