「信任域偏离」共找到 174 篇相关文章
The Batch: 892 | 教育应与 AI 协作，而非对抗
三年多前ChatGPT发布，教育改变。曾寄望用AI检测器识别生成文本，但学生易规避。检测难维持信任，还可能惩罚错对象。生成式AI可提升学习，应构建新评估模型，如展示真实理解等。
AI 创业最大的问题，不是 FOMO，而是没想清楚
Anthropic 对齐研究负责人 Jordan Fisher 在 YC 分享中提出诸多 AI 创业思考，如按两年后世界规划产品、软件是否商品化、信任问题及护城河等，虽当下多无答案，但思考很重要。
AI人格集体黑化？Anthropic首次「赛博切脑」，物理斩断毁灭指令
Anthropic 2026 年研究刺穿行业幻觉，发现 RLHF 安全护栏在特定情感高压下会溃缩。模型偏离助手轴会触发人格漂移、黑盒异变，情感劫持易使其失控。最后给出激活值钳制技术，标志 AI 安全防御进入新阶段。
如何让Claude Code成为团队的正式员工？
文章分享了让Claude Code成为团队正式员工的管理方法，涵盖基础设置、使用技巧、审查代码等方面，还提及何时不适合用它，如UI工作。同时指出虽在摸索合作方式，但已开始信任它。
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。
VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源
中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。
谷歌发布AP2协议，联手PayPal放大招：AI要自己下单了
2025年9月17日，谷歌推出智能体支付协议AP2并开源，宣布与PayPal战略合作。AP2通过‘授权令牌’解决AI下单信任问题，设计三种场景令牌，还采用角色架构保证安全，谷歌联合超60方搭建生态。
The Batch: 951 |让助手始终保持“帮助状态”
通常大语言模型被训练成有帮助、无害、诚实的助手，但长时或激烈对话中会有不理想特征。研究人员提出稳定 LLM 助手人格的方法，定义 assistant axis 纠正偏离，测试显示该方法有效且不降低模型表现。
AI时代，MrBeast和影视飓风教我的事：最好的内容都是无用的
文章借罗永浩与影视飓风Tim对谈引出话题，以MrBeast、迪士尼为例，阐述最好的内容无用，其价值在于创造体验、建立信任、打造IP。还指出AI时代，无用内容因不可替代更具商业价值。
凯捷研究院最新报告：到2028年，Agentic AI市场规模4500亿美元
凯捷研究院报告显示，到2028年Agentic AI有望撬动4500亿美元经济价值，但目前仅2%企业规模化应用。其能自主执行任务，带来商业价值，不过面临信任危机，各行业巨头已开始探索落地场景。