洛斯阿拉莫斯研发 PAS 新工具，在线揪出视觉语言模型幻觉输出
洛斯阿拉莫斯国家实验室（LosAlamosNationalLaboratory）研究团队近日提出一项名为PrelimAttentionScore（PAS）的新工具，主打即时侦测视觉语言模型是否出现“幻觉”输出，也就是模型描述了图片中不存在、或与影像内容不一致的物体与资讯。这项方法可在模型运作过程中同步监测，协助判断答案究竟是根据影像生成，还是过度依赖自身先前产生的文字。
研究人员指出，PAS可直接套用在既有主流视觉语言模型上，几乎不需要额外运算成本，因此具备“即插即用”特性。洛斯阿拉莫斯电脑科学家曼尼什·巴塔拉（ManishBhattarai）表示，PAS具备即时监测能力，能以低额外运算负担提升多模态AI的安全性与可信度，并在侦测幻觉方面达到先进水准。
PAS的运作方式，是追踪自回归式视觉语言模型在逐步生成每个token时，注意力主要来自影像、文字提示，还是模型自己前面已生成的词句。当系统对某个物件的描述过度倚赖前文时，PAS就会给出提示分数；分数越接近零，代表越不可能出现幻觉输出。洛斯阿拉莫斯实习生XuanNhatHoang形容，这套工具是读取AI已经产生的讯号，能在不增加太多负担的前提下，找出模型开始“自说自话”的关键时刻。
团队表示，PAS未来可用于医学影像、科学文件分析、工程图面、遥测资料等需要严格验证视觉内容的场景，避免不受支撑的影像陈述影响后续决策。这项研究在今年6月于丹佛举行、由IEEE与ComputerVisionFoundation主办的ComputerVisionandPatternRecognition（CVPR）2026会议上发表，并获洛斯阿拉莫斯实验室的LaboratoryDirectedResearchandDevelopment计划资助。
发表你的评论吧返回顶部
!评论内容需包含中文