生成式ai在信息整合上展现出巨大潜力，其产出的内容常常令人印象深刻。然而，深入探究便会发现，该技术在实际应用中依然存在诸多不足。
近期，欧洲广播联盟（EBU）与英国广播公司（BBC）联手对ChatGPT、Gemini以及Perplexity等主流AI系统在新闻摘要生成方面的能力进行了全面评估。这项研究的背景在于，当前已有约15%的25岁以下年轻人将AI作为获取新闻的主要渠道。
项目初期，BBC通过大规模问卷调查及六场焦点小组访谈，收集了公众对AI新闻工具的实际使用感受和观点，随后EBU将此项研究推广至国际层面。结果显示，大约42%的英国成年人认为AI生成内容具备准确性，而年轻用户群体对此的信任程度更高。但值得注意的是，高达84%的受访者表示，一旦发现事实性错误，他们对AI的信任将大打折扣。
那么，这些系统的“不准确”程度究竟有多高？用户又是否能察觉这些错误？研究揭示，大多数由AI生成的新闻摘要都存在问题。尽管各模型整体表现相近，但谷歌Gemini却成为显著例外——其错误总数最多，且严重错误的比例远超其他平台。
报告指出，Gemini存在的主要缺陷包括：
- 未能提供清晰可靠的资料来源链接
- 无法有效区分真实信息与讽刺性内容
- 过度依赖维基百科作为信息源
- 缺乏必要的上下文支撑
- 存在原文引用错误的情况
在为期六个月的观察期内，所有参与测试的AI系统均展现出一定程度的进步，新闻摘要的准确率普遍上升，其中Gemini的改进尤为突出。然而，即便如此，其整体表现仍明显逊色于其他竞争者。
报告链接：News Integrity in AI Assistants
