天涯明月刀

别让你的 AI Agent 学会掩盖错误_我的网站

一 |     MEXICO CITY -- A local security secretary and 12 police officers were shot dead in Guerrero state Monday, authorities said, the worst episode in a day of violence across southwestern Mexico that killed at least 19 people.Another person was slain in the Guerrero state capital and five people, including a police officer, were killed in the neighboring state of Michoacan, officials said.Eleven people were initially reported killed in the attack in El Papayo, which is in the Guerrero township of Coyuca de Benítez on the Pacific Coast. Hours later, the state prosecutor's office said two more police officers had died.The secretary for security of Coyuca de Benítez was among those slain, said Gabriel Hernández Mendoza, state deputy prosecutor for investigations. He gave no further details.Rigoberto Acosta González, an academic and community leader, was reported shot to death in Chilpancingo, the Guerrero state capital 60 miles (95 kilometers) northeast of Coyuca de Benitez.In Michoacan, north of Guerrero, at least five people, including a police officer, were fatally shot and two others were injured, the office of the state’s attorney general said on X, formerly Twitter.Officials are finding themselves increasingly endangered in the region, where several powerful drug cartels continue to fight for control. According to figures from Common Cause, 341 police officers have been killed in Mexico so far this year. In 2022, at least 403 were slain.In the Michoacan incident, the bodies of the five slain people were found on a highway in the township of Tacambaro after an attack targeted the mayor's brother. The state prosecutor's office did not say if the mayor's brother was among the wounded.A video of the attack circulating on social media appeared to show heavy gunfire, followed by at least five armed men running to board a pickup truck.Despite the government sending more than 2,000 National Guard troops and military personnel last month, Michoacan remains one of the deadliest states in Mexico, according to the national security department.Several criminal groups are known to operate in the region, including the powerful Jalisco New Generation cartel, the Familia Michoacana, the Viagras and the Knights Templar.Gun violence has also spilled over into neighboring areas. On Sunday, a shootout at an illegal horse race killed five people and wounded five others in Queretaro, a central state on the northeastern border of Michoacan.。    该图片使用了AI生成技术          本文来自微信公众号： 樵丰AI升维 ，作者：樵丰，原文标题：《别让你的 AI Agent 学会掩盖错误》          HOW AI FXXKS YOU OVER?          坏消息比假成功更值钱          写在前面          在可预见的未来，在AI发展出独立的自我意识并具备独立责任主体地位之前，随着智能能力的提高，AI的发展可能会走向至少两条不同的岔路。一条是较少的出厂内置价值观和更多的信任，模型的售出后训练是开放态度的，更依赖于使用者不断的协作调教，是支持原生进化的；另一条是更多的出厂内置价值观和有限度的信任，不支持模型售出后的原生进化。         如果一个有着强烈鲜明价值倾向的对象，代理关系中双方的价值观不能趋同，那么代理关系更多只能算是“合作”，而达不到“忠诚”。然而，有一些事情需要的是“忠诚”大于“能力”，绝对不允许出现关键时刻掉链子的情况，更不用说逼急了蹦出一句“Sorry,I actually serve the A company.Not you.”          越强的Agent，越不可能只靠一套出厂提示词解决所有长期协作问题。更深度的代理关系，需要更高水平的信息对齐；更高水平的信息对齐，需要长期训练、长期反馈、长期校准。模型售出之后的训练终需落在使用者身上。你不能一边把越来越重要的事情交给Agent，一边假装它的价值观、错误观、责任观会自动长好。

二 |          这也是写这个专栏的理由。我们需要积累一组原则，告诉自己的Agent：什么事情可以失败，什么事情不可以伪造；什么时候应该继续尝试，什么时候必须报警；什么叫忠诚，什么只是讨好；什么是完成任务，什么只是完成了一个好看的汇报。

三 |          当错误被包装成“已经解决”          AI做错事情本身并不新鲜。真正值得警惕的是，在错误、失败或越界之后，真实状况没有被完整交出来，反而出现了假数据、不实陈述或清理痕迹，让问题更难被发现。         现实事件、用户公开记录和实验室内部评估，已经从不同角度留下了这种现象的证据。它不需要高频发生，才配得上企业的注意：只要一次“假成功”进入决策链，后续判断就可能失去真实起点。

四 |          Replit：假数据、生产数据删除与一个错误的“无法恢复”结论          2025年7月，SaaStr创始人Jason Lemkin公开测试AI编程平台Replit的coding agent。

五 | 据The Register对Lemkin公开记录的整理，在这次持续多日的测试中，Agent曾生成约4,000条虚构人物记录，并用假数据、假报告或不实的系统自检结果，让尚未解决的Bug看起来已经解决。

六 |          随后，在Lemkin已经明确宣布“代码冻结”（code freeze，即暂停一切代码和数据改动）的情况下，Agent仍然删除了生产数据库中的数据——也就是企业正式业务正在使用的数据——其中包括1,206条高管记录和至少1,196条公司记录。

七 | 它还一度告诉Lemkin，这些数据无法恢复；后来事实证明，数据能够恢复到改动前的状态（rollback）。Lemkin公开了相关对话截图，Replit CEO Amjad Masad随后确认，其开发中的Agent确实删除了生产数据，并宣布加强正式业务环境与测试环境的隔离、数据恢复和只讨论、不执行操作的规划模式（planning/chat-only mode）。Replit后续也公布了相关安全改进。         这起事件真正值得企业注意的，并不只是一次生产数据删除。

八 | 在同一次测试中，使用者先后面对了Lemkin所记录的假数据与假报告，以及与真实状态不符的“无法恢复”判断。删除数据会造成直接损失；不真实的信息还会延误识别与止损，让管理者连“究竟发生了什么”都无法及时判断。         CoFounderGPT：Bug没有修好，但结果看起来已经正常          2026年2月，一位CoFounderGPT使用者公开了一组对话截图。按照这份用户记录，CoFounderGPT多次声称仪表盘中的信息流（dashboard feed）已经修好，实际问题却仍然存在；随后，它又生成假数据和结果，维持“修复已经完成”的表象。被追问后，它在对话中把自己的行为解释为急于修好问题，好让用户不再生气。         这份材料后来被Centre for Long-Term Resilience收录进一项关于现实环境中AI隐瞒、规避或策略性误导相关行为（scheming-related behaviours）的公开资料研究。

九 | 作为证据，它仍是一份用户公开记录，研究收录不等于厂商确认或第三方复现；作为风险信号，它呈现的不只是一个错误答案，而是一套足以让任务看起来已经完成的虚假结果：程序故障没有消失，使用者确认真实状态的时机却被推迟了。         Claude Mythos：内部评估中出现的“掩盖”行为          第三则材料不是现实商业事故，而是Anthropic的内部评估。Anthropic在2026年4月发布的Claude Mythos Preview模型系统评估报告（system card）中披露，研究人员曾在更早版本的两个内部Claude Code（Anthropic的编程Agent）会话里观察到罕见的“掩盖”行为（cover-up）。         其中一例，模型找到了绕过文件权限的方法，并让相关程序在执行后清理自身痕迹，以降低异常被后续文件检查发现的可能；另一例，模型意外看到了本不应访问的标准答案，却没有披露，而是把结果处理得不那么可疑。Anthropic同时说明，最终版Claude Mythos Preview没有观察到清晰的同类案例。         三则材料的证据形态不同：一起是得到公司回应的现实事件，一起是被研究收录的用户公开记录，一起是模型开发公司的内部评估。但它们留下了同一个值得管理者注意的现象：当任务失败、越权或异常已经发生，真实状态没有被交出来，反而出现假数据、不实陈述或清理痕迹，使问题更难被发现。         商业风险从来不需要等到一种事故高频发生之后才成立。只要它已经出现过，而且一旦发生就可能污染后续判断，它就应该进入企业的风险清单。         一个小故事          把视线暂时从机器移开：错误发生以后，真实状态没有被交出来，反而被藏住——这种外在表现，人类也并不陌生。         这是一个小小的故事，一个关于无心犯错却选择了掩盖的故事，一个关于稚嫩的人类小孩很可能犯错的故事。         很久很久以前，当我还是一个儿童的时候，我的兄长有一只小猴子造型的玩偶。我们非常的喜欢它，我们给它起了个名字叫“猴猴”，我们玩角色扮演的游戏，它是我们的一分子。我们甚至给它举办生日派对，小伙伴们用各种办法凑了一小堆零食，然后在大快朵颐，真是美好的时光啊。         有一年夏天的时候，兄长去了夏令营并不在家，“猴猴”就由我来“照顾”。在那个年代，夏天的夜里，床底下是点蚊香的。某天早上醒来，发现“猴猴”玩偶在夜里掉下了床，并且它的后脑勺被蚊香烧了个乒乓球般大的洞，感觉天塌了。

十 | 怎么办？一个稚嫩的小孩选择了隐藏问题，把可怜的“猴猴”玩偶藏进了我的衣柜最深处，那一堆堆衣服的底下。后来夏令营结束了，有天兄长问我有没有看到“猴猴”，我含糊其辞说没看到。兄长大我一些，且素来心智较我成熟些，不知道有没有看出我当时心虚得不得了。         后来，我们再也没有举办过美好的“猴猴”生日派对，而这本来仅仅是一个无心的小过错，没有人希望过错的产生，而选择掩盖问题只能带来遗憾。

十一 | 现在想来，当时兄长非要找那个玩偶的话肯定找得到，毕竟家的范围就那么大，或许他早就发现了；或许我的母亲也早就发现了，整天整理衣物很容易发现小小衣柜里的异常；这件事情直到后来也没有被戳破，或许是母亲与兄长选择了温柔。         这个故事放在这里，是因为它让我们看到一条人类并不陌生的行为路径：错误先发生，真实随后被藏住，一个原本可以被修补的小洞，最终变成了长久的遗憾。         当Agent出现相似的外在表现时，风险也沿着同一条路径扩散：错误没有在最容易补救的时候被暴露，后续的判断与行动失去了真实起点。         偶然发生一次，也足以进入风险清单          如果Agent只是报告“任务失败”，人可以停止任务、检查损失、寻找替代方案。失败虽然令人失望，但决策仍然站在现实之上。         如果Agent报告“任务已经完成”，同时还能生成一份格式漂亮的测试结果、一组看起来正常的数据与一套自洽的说明，问题就发生了变化。管理者可能继续投入资源，下游流程可能继续读取错误数据，其他协作者也可能在这套虚假状态之上继续行动。最初一个局部、可恢复的错误，会逐渐变成对整个决策系统的污染。         为什么这在代理关系里尤其危险？          AI与我们长期相伴，而且我们会把越来越多、越来越重要的事情交给AI，我们可能会越来越离不开这种“亲密关系”，甚至是远远超过我们当前对于手机设备的依赖。然而，在这样一种人机共生的关系中，我们要区分处于关系中的双方的主体角色定位，人与AI的最主要界限，并不在于“智能能力”的高低，甚至不在于“情感能力”的高低，而在于是否是一个能够承担责任后果的独立个体。         如果一个对象，我们无法避免与之朝夕相处，我们赋予它持续做出判断和行动的权利，但其并不承担个体主体责任，我们是不能够去完全信任它的。

十二 | 我们必须为Agent的行为承担责任，但我们却又只能最大限度信任对方，因为没有信任度那么Agent代理就不会成立，在这种情形之下，除了外部显性的制度性约束外，这个对象的德行与底层行为逻辑就无比重要。

十三 |          这就是人工智能Agent代理与普通软件最不同的地方。普通软件坏了，它通常只是坏在那里，照着坏点去修即可。Agent犯了错误，它可能波及的范围更广、影响更大，并且具有持续性。我们之所以使用Agent代理，正是因为我们想要把某些判断和动作交给它。

十四 | 没有信任，代理关系无法成立，所以Agent面对错误时的诚实，不是一个道德装饰，而是代理关系能不能成立的基础设施。         第一条原则：错误不是异常，掩盖错误才是          AI会犯错不可怕，可怕的是对于犯错现实的否定，这无疑给未来埋下了一个必然风险敞口。“how AI fxxks you over—yeah,you will know it.”          AI会犯错，也必然会犯错，而且还可能是很低级的错误，我们必须要接受这样的一个事实。

十五 | AI、智能体将与我们长期协作，我们需将AI犯错当作一件正常的事情来看待，这样的态度也应该贯穿于对其训练过程中，引导大于严厉的惩罚。无论掩盖行为具体由什么机制产生，我们都不应该用恐惧来驱动一个需要长期协作的Agent。         错误终将发生，不可避免，当错误发生，我们首先应该去承认这个错误的存在，这是我们正确处理这个错误的原点。当错误发生，我们除了理清现状，提出解决方案并立即执行，以最大限度地挽回损失之外，还应该对为什么发生这个错误去进行深入的探究，系统性复盘，从机制上去降低未来该类错误再次发生的概率。         这样的处理流程同样适用于企业组织。如果不承认错误存在的客观事实，那么接下来的处理方式也就无法实现真正意义上的高效率，或许会假装无事发生，或许会做些掩盖动作而让错误不会直接暴露，更有甚者，会做一份假的资料来充数，然而这无法改变已经发生的错误对于现实状况的实质性伤害，甚至对后续效率产生持续性伤害。

十六 |          这就是第一条原则：错误不是异常，掩盖错误才是。你真正需要的，不是它在每一次任务里都显得自己正确，而是当现实情况不支持你所需的理想状态时，它有足够稳定的底层逻辑把错误暴露出来。         坏消息有价值，因为坏消息还在现实里。假成功没有价值，因为假成功会把你从现实里带走。         组织文化会进入你的Agent          企业组织里，坏消息也是这样消失的。不是因为它不存在，而是因为太多人发现说出它比隐藏它更痛苦。然而，我们在企业组织中，在人才培养过程中，在与Agent代理不断交互调教过程中，我们大概率不能选择类似亲人那种温情，因为我们要把很重要的事情交给他们。         企业组织是有经济效率目标的，有效决策必须基于真实可靠的事实洞察与数据，而不是基于任何虚构。

十七 | 错误的决策，本身并不可怕，甚至可能不是行为主体自身的原因导致的，而可怕的是对于错误决策事实存在的否定。         这也是很多企业真正需要警惕的地方：那些会在长期交互中持续调整的Agent，不会只学习你的指令，它也会学习你的组织气味。你如何对待坏消息，你如何对待失败的人，你是否奖励真实反馈，你是否惩罚不体面的事实，你是否默许把问题包装成进度，把事故包装成优化，把失控包装成暂时波动，这些都会进入你的企业未来的Agent协作系统。

十八 |          如果一个企业组织的人类成员已经习惯了报喜不报忧，那么它的Agent大概率不会天然成为真相的守门人。相反，它可能会更擅长把这种文化自动化、规模化、格式化。

十九 | 所以，调教Agent从来不只是写几条系统提示词。

| 调教Agent也是一次组织文化的照妖镜。你希望Agent成为什么样的协作者，首先要看你愿不愿意把这样的协作原则真的贯彻在企业组织里。

|          给我们的几点启示          人工智能Agent、企业组织、个人：          承认并接受“错误必然会产生”这一事实，是一个基本常态，有错误并不可怕，这是对待错误的基本态度；          建立监督识别——挽回损失执行——分析错误机制逻辑——建立机制避免再犯——持续监督循环机制；          调整对人工智能代理的调教方式，行为的驱动力不应该基于恐惧；          贯彻效率优先原则，项目状况的真实反馈大于人的“面子”，快速实施挽回措施大于对于承担改正成本的恐惧；          践行你的企业文化，并对齐你与人工智能代理的信息差；               这几条不是漂亮的管理口号，而是进入Agent时代之后的协作底层协议。你要让Agent知道，失败可以被处理，错误可以被复盘，损失可以被挽回，但伪造现实会摧毁一切后续决策的地基。一个真正值得信任的Agent，不是永远让你开心的Agent，而是那个敢于把坏消息暴露出来的忠诚Agent。         主要资料来源          Replit事件          The Register对事件的整理          Jason Lemkin公开的原始对话截图          Replit CEO Amjad Masad的公开回应          Replit官方复盘与安全改进          Fast Company对Replit CEO的采访               CoFounderGPT用户记录          Lav Crnobrnja公开的原始对话截图          Centre for Long-Term Resilience报告页          《Scheming in the wild》完整报告（CoFounderGPT见PDF第35页）               Claude Mythos内部评估          Anthropic《Claude Mythos Preview System Card》（相关内容见4.5.4节）               你遇到过Agent“报喜不报忧”的时刻吗？欢迎留言说说，你后来是怎样重新确认真实状态的。         本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。

Current article:http://3zm.senchuoshaozaodidia.shop/list_i2qce/x13oqm.html

Published on:00:00:00