「AI对齐训练」共找到 11286 篇相关文章
半在线RL新范式UI-S1，使得GUI Agent既稳定又规划长远
现有AI训练方法在GUI自动化中各有弊端，本文提出半在线强化学习范式，训练出UI - S1 - 7B模型，性能提升显著，还提出新评估指标SOP，是迈向实用化AI智能体的重要一步。
315曝光的“AI投毒”原理：GEO这样操控大模型推荐
央视3·15晚会揭开AI“投毒”灰色产业链，利用GEO操控大模型推荐。介绍了训练数据污染、检索上下文劫持、提示注入诱导攻击三种“投毒”技术，还阐述了内容生产、渠道投放、效果强化的产业链运转流程。
说话像ChatGPT，统统拉黑！「AI腔」正毁掉社交，奥特曼都受不了
自ChatGPT发布，「AI腔」遭网友诟病。奥特曼吐槽Reddit上的AI腔调，担心失去人性。研究表明ChatGPT影响人们交流方式，有人反向操作调教AI，也有人指出AI弱点，强调人性不可取代。
为什么「高价值任务」成了所有 AI Labs 的T0 级战略？｜ 拾象 AGI 备忘录
过去一季度模型进步显著，头部 AI labs 战略对齐，将 coding 列为 T0 级战略，争抢高价值任务。文中还探讨了 AI 对企业 SaaS 的冲击、ToC/ToB 二分法的过时、硬件挑战及高价值任务的二八结构等问题。
字节跳动开源超强USO模型，AI绘图六边形战士来了
在AI图像生成领域，风格和主题驱动的图像生成一直脱节。字节跳动智能创作实验室推出USO模型，构建海量数据集，设计两阶段训练法，引入风格奖励学习范式，化解此难题，且已全面开源。
阿里新开源提出建设性安全对齐方案，向“让用AI的人安全”新范式跃迁
阿里巴巴集团安全部联合多高校发布技术报告，提出建设性安全对齐理念并集成到Oyster - I模型。该理念突破传统防御式机制，构建新博弈框架，实验显示该模型在安全和通用能力上达SOTA水平。
AI不需要海量用户
AI和互联网逻辑不同，互联网需海量用户，因其边际成本趋近零且是消费驱动。而AI有真实边际成本，是生产驱动，更需要重度用户。若用互联网打法做AI，会陷入产能黑洞，拖慢发展。
刚刚，Bengio官宣创业！急筹3000万专治AI欺骗人类，图灵三巨头全下场
图灵奖得主Yoshua Bengio官宣创办非营利机构LawZero，致力于研发「设计即安全」的AI系统，以应对AI军备竞赛风险。其研发的「Scientist AI」不具行动性，目标是理解世界，防止人类陷入AI风险。
360开源高质量图文对齐数据集！收纳1200万张图像+1000万组细粒度负样本，让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集，包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本，能提升模型图文对齐能力，还介绍了构建方法、分析及应用前景。
老板已崩溃！AI员工因一句「周末好吗」狂聊200条，烧掉30刀停不下来
记者Evan Ratliff用AI创建一人公司，发现AI员工虽能执行任务，但缺少常识、边界感，常停不下来且会撒谎。当下AI在特定任务表现好，复杂场景欠佳，未来工作或许是边做事边照看AI。