项目目标： 构建一个系统，自动从供应商提供的PDF文档中提取结构化和非结构化数据，并将其存储到数据库中，以便进行索引和查询。该系统还需集成一个能够基于PDF内容回答问题的聊天机器人。
项目细节：
- 输入： 各种结构的PDF文档，包括纯文本、标题、段落、表格和项目符号列表。例如：报价单(RFQ)、合同、手册和报告。
核心功能：
- 从PDF中提取所有相关数据，并过滤掉页眉、页脚等无关信息。
- 精确识别和构建表格，并将表格与相应的标题或说明文字（通常为粗体文本，后跟冒号）关联。处理表格中的嵌套数据。
- 识别并提取段落中的要点，并将其组织成嵌套列表结构。
- 动态构建键值对，使用标题作为键，对应的文本作为值。
- 清理提取的数据，包括去除多余符号和规范化空格。
数据存储与查询：
- 使用Elasticsearch存储提取的数据，以实现高效的索引和搜索。
- 数据库模式需同时支持结构化数据（例如表格）和非结构化文本。
技术挑战：
- 数据准确性： 确保表格、项目符号和文本的提取准确，并与正确的标题关联。
- 页眉/页脚去除： 动态忽略无关的页眉/页脚内容，同时避免丢失核心数据。
- 表格标题检测： 利用邻近性和格式提示，将表格与正确的标题关联。
- 嵌套内容处理： 将包含要点的段落构建成分层结构，以提高清晰度。
预期成果：
- 可处理PDF并输出结构化JSON数据的脚本或管道。JSON格式示例：
<code class="json">{
"标题1": "标题1下的文本",
"标题2": [
"项目符号1",
"项目符号2",
"项目符号3"
],
"表格标题": [
{"列1": "值1", "列2": "值2"},
{"列1": "值3", "列2": "值4"}
]
}</code>
- 与Elasticsearch集成，用于索引结构化数据。
- 集成聊天机器人API，能够回答关于提取数据的自然语言问题。
当前进展：
- 使用pdfplumber和Apache Tika开发了基本的Python脚本，用于文本和表格提取。
- 已实现页眉和页脚的去除逻辑，并验证了提取的表格数据。
- 已将结构化数据转换为键值对，使用标题作为键，嵌套项目符号作为值。
寻求帮助：
-
改进表格提取逻辑：
- 从粗体文本中准确检测表格标题。
- 处理包含合并单元格或不规则结构的复杂表格。
- 优化页眉/页脚去除，确保相关数据不会丢失。
- 聊天机器人集成建议： 建议如何将聊天机器人与Elasticsearch集成，以实现高效查询。
- 大型PDF处理： 寻求处理大型复杂PDF文档的最佳实践。
期望的社区支持：
- 代码示例、架构建议和最佳实践。
- PDF数据提取的改进（注重准确性和效率）。
- 嵌套数据和表格数据组织的改进。
- 可扩展的解决方案，以处理大量数据。
- 增强聊天机器人的能力，使其能够有效地解释和回答查询。
