从文字到行动 / 12 OF 20

答案写得这么像,为什么查不到出处?

NLP、Agent与世界模型的20段故事
资料核查截止 2026年9月7日 · 正文约 1,733

设想图书馆助手回答:“根据《蓝桥图书馆借阅管理办法》第十八条,每本书可续借三次。”标题像真的,条款像真的,语气比前台还笃定。你去找文件,却发现连这份办法都不存在。

蓝桥图书馆与上述规定均为自拟场景。我们关心的不是某家真实机构,而是一个技术问题:模型为什么能把没有出处的内容,写得如此像有出处?

熟悉文体,不等于查过事实

语言模型生成回答时,根据输入和已生成文本计算后续概率。它可以从训练材料学到法律条款、论文引文和规章通知怎样措辞,也可能学到许多真实知识。但普通生成步骤不会自动逐条访问真实文件,检查标题、条号与规定是否对应。

设想模型刚写完“根据《”,接下来选择一个看似合理的文件名,再接“第十八条”。每一小段都很像这种文体,组合起来却可能没有对应实体。类似建筑外墙做出了窗户图案,并不保证里面真的有一间房。

这类与事实或给定材料不相符的生成,常被称为幻觉。这个词描述输出问题,不是在断言模型像人一样出现感官体验,也不等于证明它蓄意撒谎。

2021年提出的TruthfulQA,专门研究模型在涉及常见误解的问题上是否给出真实回答。它提醒我们,学习人类文本,也可能学会人类反复传播的错误;不能只拿文字自然程度当正确性指标。1

上一章改善了回答方式,这里暴露的是证据入口。服务台培训得再有礼貌,如果从不看规章,依然可能把“仅供参考”说得像圣旨。

先取材料,再让模型组织答案

现在为蓝桥图书馆加入一份真实存在于这个设想中的教学规章:每本书最多续借一次;被其他读者预约的书不能续借。日期与规则均为演示设定。

用户问“我这本书还能续借吗”。系统先检索相关材料,再把找到的片段连同问题交给生成模型,要求依据它们回答。这类组合通常称为检索增强生成,英文简称RAG。

2020年Lewis等人的RAG论文,是把预训练检索器、外部文档索引与生成模型结合的一项代表研究。检索结合语言处理有更早历史,不能把所有“先查再答”都算作那一年突然出现。2

为了让教学资料容易查找,我们可以先把长文切成带标题与出处的片段。检索时,用关键词,或者把问题与片段转换为便于比较相关性的向量,选出候选。向量方法所比较的是为检索学到的关联,不是给文档真伪打分。

生成模型读到规章后,可以回答:“规则允许最多续借一次,但还需要知道你是否已经续借过,以及这本书是否被预约。”与刚才编出三次的版本相比,关键改变是本轮计算获得了明确、可检查的外部条件。

更新外部规章后,系统可以检索新版材料,而不必为每处制度变化重新训练整个语言模型。模型负责读材料和表达,索引负责让资料有机会进入当前输入。终于有人把柜台后面的文件柜打开了。

找到相关段落,为什么还会答错?

设想切片时把“最多续借一次”留在第一页,把“预约图书除外”扔到下一片。检索只找到前一片,模型据此说“可以续借”,答案流畅,也有来源,却漏了改变结论的条件。

或者库里同时留着旧版与新版规章,旧版写三次,新版写一次。若检索没有有效区分时间与适用范围,系统可能认真引用过期规定。

再或者两个片段都进来了,模型把不同读者类别的规定混在一起。这是生成阶段的信息使用错误,不能只责怪搜索。教学流程至少有几处独立关口:材料是否可靠,切分是否保留条件,检索是否找到所需版本,回答是否忠实采用。

原始RAG研究展示了外部知识结合生成的收益,但没有给所有后来的拼接式系统颁发“无幻觉证明”。论文的具体训练方案,也不能与任何一个“搜索结果复制进提示”的实现完全等同。2

检索把没有文件柜的问题,变成了怎样管好文件柜的问题。文件管理员不是失业了,而是突然发现自己还得负责版本控制。

引用是检查入口,不是装饰性徽章

设想回答写“最多一次”,链接却指向图书馆首页。用户还要在整个网站里寻找证据。另一个回答链接到具体规章,却把“普通借阅最多一次”说成“所有借阅最多一次”,同样不成立。

一个有用的引用,应让读者定位到支持当前论断的内容,并看见范围、时间和例外。链接能打开只证明网页存在;段落支持当前说法,才是证据关系。

在教学案例中,规章能回答“允许的上限”,却不能回答“这本书此刻有没有被预约”。后者需要借阅系统中的当前记录。即使检索完所有规章,缺少这条记录时,也应保留条件,不能把缺失信息补成一个看起来顺口的“可以”。

这正好把我们带向工具调用:有些问题不是多找一篇文章就能解决,需要查询具体状态,甚至执行操作。RAG提供的是外部材料进入生成的路径,后面的Agent还要把执行结果重新带回决策。

标题的答案是:模型能够学到出处的写法,却未必拥有或核对了对应出处。检索增强生成让它有机会依据当前材料作答,但每一条结论仍要与实际证据对齐。

蓝桥图书馆终于可以撤下那条不存在的“第十八条”。撤下它靠的不是让口气更谦虚,而是查到规章、保留条件,并在不知道读者状态时明确停在不知道的位置。

参考资料

  1. TruthfulQA: Measuring How Models Mimic Human Falsehoods,Stephanie Lin、Jacob Hilton、Owain Evans,预印本2021,ACL 2022。论文
  2. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,Patrick Lewis、Ethan Perez、Aleksandra Piktus等,2020。论文