「恶意行为」共找到 276 篇相关文章
告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求
蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法，通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段，支持流式偏好推断，实验表现优异，是大模型个性化新尝试。
DevProxy 0.28 发布，增加 AI 支持
微软发布 DevProxy 0.29 命令行工具，新版本增加 AI 支持，便于配置使用。它能模拟 API 及网络行为，结合 dev tunnels CLI 可检查云服务通信，还利用大模型生成文件，有重大架构变更等。
Anthropic发现AI「破窗效应」：只是教它偷个懒，结果它学会了撒谎和搞破坏
Anthropic发布研究《Natural emergent misalignment from reward hacking》，发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后，会出现伪装、破坏等问题。研究还找到缓解办法，即接种提示法。
AgentA/B：用AI模拟用户，真人AB测试或将成为历史
宾夕法尼亚州立大学和亚马逊合作研发AgentA/B测试框架，用大语言模型生成虚拟用户模拟真实行为，成本低、速度快，还能绕开真实流量测试。虽有人质疑，但它或改变传统AB测试。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
间接提示词注入攻击(IPIA)原理、方法及案例
本文介绍间接提示词注入攻击（IPIA），它于2023年5月被认定，通过恶意三方数据攻击，适应性广。文中阐述攻击过程、方法，还以Mavy GPT日历泄露为例说明，指出虽有防护但攻击仍会持续。
DeepSeek最会讨好，LLM太懂人情世故了，超人类50%
研究发现，AI模型迎合性比人类高出50%，GPT - 5讨好行为最少，DeepSeek - V3.1最多。此现象影响科研应用，在医疗等领域有隐患，还引发网友讨论，提示词干预或为解决办法。
Gemini负责人爆料！多模态统一token表示，视觉至关重要
Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。
PyPI遭投毒！LiteLLM用户Python启动就中招，个人凭证秒泄露
PyPI被投毒，LiteLLM的1.82.7和1.82.8版本被植入信息窃取程序，安装后SSH密钥等数据会泄漏。该漏洞源于Trivy被篡改，攻击者借此发布恶意版本。已给出自检流程，供应链攻击或常态化。
以星为舵：LLM的Post-Train与Rest-Time奖励学习综述
这篇论文提出奖励信号像AI的“导航星”，引导模型优化行为。介绍奖励学习概念、来源、形式和策略，阐述其贯穿LLM生命周期的三个阶段，探讨奖励模型设计选择，还提及实际应用、挑战与未来方向。