利用大型语言模型揭示隐藏因果关系的挑战与突破
因果关系的发现与分析是科学研究的核心，但现有的因果发现算法依赖于预先定义的高级变量，而这些变量在现实世界中往往匮乏。尤其对于图片、文本等高维非结构化数据，更是如此。香港浸会大学等机构的研究人员在NeurIPS 2024发表论文《Discovery of the Hidden World with Large Language Models》，提出了一种名为COAT的新型框架，旨在利用大型语言模型 (LLM) 来克服这一难题，从而更有效地识别现实世界中的因果关系。
论文链接：https://www.php.cn/link/2fdddc426480d46ce18affae5e455c82
代码链接：https://www.php.cn/link/5807f0ed140fffaa1f35f16baf72e31b
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
研究背景
科学进步依赖于对关键变量及其因果关系的识别。传统的因果发现方法 (CDs) 依赖于人类专家提供的高质量变量，但在实际应用中，这些变量往往难以获得。例如，分析用户评分的电商卖家，只能获取用户评论等非结构化数据。因此，高级变量的匮乏限制了 CDs 方法的应用范围。
LLM 在理解非结构化数据方面展现出强大的能力，并能解决各种复杂任务。一些研究表明，LLM 可以回答因果问题，但现有方法主要将其作为因果变量的直接推理器，可靠性存疑，且缺乏对因果发现理论保证的充分讨论。因此，如何可靠地利用 LLM 揭示现实世界的因果机制成为一个关键问题。
COAT框架：LLM作为表征辅助工具
本研究的目标是利用 LLM 为非结构化数据构建结构化表征，该表征由一系列高级变量组成，能够捕捉目标信息并具有可解释性。为此，研究人员提出了 Causal representatiOn AssistanT (COAT) 框架。用户只需提供目标变量，COAT 就能迭代地寻找构成目标变量马尔可夫毯 (Markov Blanket) 的高级变量集。然后，任何合适的因果发现算法都可以用于进一步分析因果结构。
数据与目标
- 目标变量 (Y): 例如，消费者对产品的评分或患者的疾病类型。
- 非结构化数据 (X): 例如，用户评论或医学图像。
- 数据集: 由 (X, Y) 样本组成。
目标是找到一个映射函数，将非结构化数据 X 映射到高级变量集 h(X)，从而构成 Y 的马尔可夫毯。
LLM 的作用：变量提出与取值解析
COAT 将映射函数分解为一系列高级变量，每个变量将原始观测映射到预定义的值空间。这些变量由 LLM 通过自然语言定义，并具有明确的物理含义。例如，“甜度”可以定义为：1 (满意)，-1 (失望)，0 (未提及/无法判断)。
COAT 框架包含以下步骤：
- 变量提出: 使用 LLM 根据样本数据提出潜在的高级变量。
- 取值解析: 使用 LLM 为提出的高级变量解析所有样本的取值。
- 因果发现: 使用因果发现算法 (例如 FCI) 分析结构化数据，构建因果图。
- 反馈: 基于因果发现结果，构建反馈，引导 LLM 进一步寻找高级变量。
图1. COAT框架示例
图2. COAT变量提出环节Prompt示意
图3. COAT框架总结
理论分析与实验结果
研究人员定义了感知分数和能力分数来衡量 LLM 提出高级变量的能力。通过理论分析和在 AppleGastronome (美食家对苹果评分) 和 Neuropathic (神经性疼痛诊断) 两个数据集上的实验，结果表明：
- COAT 能够有效识别高级变量并构建因果图。
- COAT 的反馈机制能够有效提升变量识别能力。
- 相比于直接使用 LLM 推理因果关系，COAT 能够获得更准确的结果。
图5. AppleGastronome数据样例
图6. AppleGastronome相关因果图
图7. AppleGastronome实验结果
图8. LLM相关能力实验评估
图9. LLM标注噪声独立性检验
图10. AppleGastronome数据集上COAT因果结构识别评估
图11. Neuropathic数据样例
图12. Neuropathic相关因果图
图13. Neuropathic实验结果
图14. COAT探究ENSO因果机制
结论与未来展望
COAT 框架有效地结合了 LLM 和因果发现方法的优势，能够处理非结构化数据，并为因果发现提供支持。这项研究为构建用于因果发现的强大基础模型开辟了新的方向。
引用信息
@inproceedings{causalcoat2024,
title={Discovery of the Hidden World with Large Language Models}, author={Chenxi Liu and Yongqiang Chen and Tongliang Liu and Mingming Gong and James Cheng and Bo Han and Kun Zhang},year={2024},booktitle={Proceedings of the Thirty-eighth Annual Conference on Neural Information Processing Systems}}
