8万条群聊做成考卷:AI助手记得住却未必用得好

一个九人出行群最初商定5月1日出发,后来又改成4月30日。等到有人请AI助手发布购票提醒,它很可能还按旧日期通知——虽然”记住”了历史,却没有真正服务好这个群。针对这类问题,腾讯元宝与伦敦国王学院(KCL)NLP团队联合推出GroupAssistBench,把8万条真实群聊消息做成考卷,检验智能体记忆能否从”记得住”走向”用得好”。

从回答事实到完成服务

已有的智能体记忆评测多靠事实问答检验历史回忆,但真实群聊要复杂得多:同一条信息可能由不同成员补完,安排会随讨论更新,一句回复可能同时受好几个人的约束。研究基于50个真实群聊、80299条历史消息,构建了2395道评测题。

评测分两个层级。L1叫记忆召回,有明确的参考事实,比如”最初约定哪天出发”,共1374道;L2叫记忆使用,要求完成一项服务,比如”帮大家发出行和购票提醒”,答案没有固定措辞,却必须遵守有效的历史决定和成员要求,共1021道。研究还按所依赖的记忆结构,把题目分为M1单条记忆、M2多记忆整合、M3更新与冲突处理,其中M3尤其考验能否识别旧决定何时被新决定取代。

更会回忆,并不必然更会服务

团队比较了完整上下文、检索增强和外部记忆等14组配置。结果里最值得注意的是一组反差:EverMemOS在L1记忆召回上得分0.621,高于使用相同任务模型的完整上下文0.570;但在L2开放式服务评测中,它只有0.247,低于完整上下文的0.431。同一个系统,在”回忆”这一关赢了,在”服务”这一关却输了。

配置L1记忆召回L2开放式服务
EverMemOS0.6210.247
完整上下文(相同任务模型)0.5700.431

为避免系统仅凭常识蒙对,团队先比较”提供历史”和”不提供历史”的回答,筛出确实需要群聊记忆的请求;再为必需事实建立记忆锚点,定位到来源消息及证据片段,并设置各自的历史截止点,防止模型读到提问之后的信息。数据经过匿名化和隐私审查,抽样核验中95.8%的题目经多数投票判定有效。

L2题没有标准答案,如何打分是个难题。团队为每道题构建了与历史证据绑定的定制评分准则,包含Grounding(是否体现必要的历史事实)、Service(任务是否完成)、Penalty(是否违反现有决定、忽视成员限制或使用过时信息)三部分。自动评判与人工多数票的一致率达到89.3%。

找到的事实,为什么没用上

研究追踪了497条配对记忆——同一段历史既被L1直接询问,也被某项L2服务真实依赖。这样就能看清:已经回忆得出的记忆,到了服务环节究竟发生了什么。在分析的外部记忆系统里,L1已召回但L2未被判定有效使用的记忆,约36%根本没进入L2的模型输入,其余约64%虽进入输入,却没在回答里被有效应用。前一种情况往往因为用户只说”帮大家安排一下”,没有逐一指出该检索哪些历史偏好;后一种则表明,证据已经摆到模型面前,它仍不知道该如何约束当前回复。

针对这两种失灵,团队试了两个轻量干预。RER(关系证据整理)在检索后梳理人物、事件、时间及决定之间的关系,需要时补充相关候选证据;ACB(服务约束绑定)把已获得的事实整理成具有主体、范围和当前有效状态的回复约束。实验中,RER让LightMem的L2平均分提高6.28个百分点,ACB让xMemory和EverMemOS分别提高3.94和3.16个百分点;两者组合后,三个系统的L2分数相对各自基线分别提高7.03、4.64和4.43个百分点。

常见问题

这个基准测什么?它把”回忆”和”使用”分开衡量,检验智能体在多人、多话题的群聊里能否找到历史信息,并在正确的时候用上对的那条。

数据集公开吗?论文已在arXiv公开,代码和数据集也已开放,公开版本不含原始群聊身份信息。

对普通用户意味着什么?随着智能体承担更多长期服务,记忆系统的价值不再只是存了多少、搜得多快,而在于能否理解何时使用、对谁适用、哪些信息已经失效。

信息来源:量子位、腾讯新闻、arXiv论文(编号2611.04867)、GroupAssistBench项目主页


说说

全部说说