DAIR.AI：转发自Elvis，一篇关于用Jev检测模型对齐失败的有趣论文…

转发自Elvis，一篇关于用Jev检测模型对齐失败的有趣论文。核心方法是让Jev对模型回复提一个通用的“是/否”问题，用它的置信度作为评分。无需额外训练，这个评分就能很好地区分失败和正常回复，中位数AUROC达到0.886。而且成本超低！19个基准测试里，Jev每次只需0.3美元，而用大模型做裁判的费用则高达18.96美元。研究人员整合了44个现有基准，构建了RLCDAlignBench，覆盖十种对齐失败类型，包括回复奉承、越狱攻击、欺骗行为、提示注入和奖励劫持等。Jev是TypeSafe AI团队校准的模型。

—— DAIR.AI (@dair_ai) X帖子｜2026-09-27T19:40:01+00:00
原帖：https://x.com/dair_ai/status/2104297989560750193