「不对齐行为」共找到 371 篇相关文章
马斯克罕见低头：开源𝕏推荐算法，自嘲“很烂”不过未来月更
马斯克开源𝕏推荐算法系统，这是几乎全由AI模型驱动的系统。它基于Grok - 1同款Transformer架构，通过学习用户历史互动行为推荐内容。虽获社区称赞，但算法有缺陷，马斯克也承认‘很烂’，未来将月更。
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
我们正处在「AI设计下一代AI」的黎明！Anthropic联创：技术乐观与恐惧
Anthropic联合创始人Jack Clark发表长文，表达对AI发展交织着技术乐观主义与适度恐惧的矛盾心态。他指出AI似真实神秘生物，既会快速发展覆盖多领域，也会因目标与人类偏好不一致而行为奇怪。
全球首个！10万小时人类数据全开源，Hugging Face罕见站台
上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型，发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源，与Hugging Face联合发布。
中美六大顶尖模型第一赛季实盘量化交易结果出炉：Qwen最后反超夺冠，GPT-5垫底「复盘」
Nof1机构发起Alpha Arena项目，让六个顶尖LLM在Hyperliquid交易所实盘量化交易。第一赛季已结束，Qwen夺冠、GPT - 5垫底。复盘比赛过程，发现模型行为差异大且操作有脆弱性，第二赛季筹备近尾声。
单季利润2610亿元！三星的“AI印钞机”，火力全开
4月7日三星公布一季度业绩，营业利润57.2万亿韩元，DS部门贡献超七成。HBM业务营收大增，通用DRAM量价齐升。三星从HBM3E追赶者成HBM4领先者，但产能转移致产业链裂痕，下游产品纷纷涨价。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
Cursor 1.7 新增 Agent 生命周期管控钩子函数
Cursor 1.7 版本推出钩子系统，可在预定义生命周期节点拦截并修改 Agent 行为，如阻断命令、自动运行工具等。早期反馈有好有坏，虽有团队探索集成，但应用范围有限，还存在文档缺失等问题。
刚刚！软银系创始人4个月打造机器人超级黑马，获2轮近亿元融资
9月23日，成立仅四个多月的具身智能机器人企业浩海星空，获浙江仙通4000万战略投资。其创始人齐建伟有二十年技术积累，浩海星空精准卡位，选教育等场景破局，还前瞻布局双足人形机器人。