「安全强化」共找到 1540 篇相关文章
Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。
Think in Games：做一个在王者荣耀中会玩和思考的Agent
文章介绍论文《Think in Games: Learning to Reason in Games via Reinforcement Learning with Large Language Models》，指出当前AI在游戏领域面临的困境，提出TiG框架结合大语言模型与强化学习，打造既会做又会说的AI，实验验证其高效性。
5个月估值翻10倍，AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。
港科大（广州）联合腾讯AI平台部开源VibeWorlding，3D世界构建迎来Vibe Coding时刻？
香港科技大学（广州）联合腾讯AI平台部提出VibeWorlding，是可通过多轮对话等自主构建和编辑交互式3D世界的多模态智能体框架。团队开源多项数据，其模型经强化学习后表现超GPT - 5.5等。
Andrej Karpathy最新万字采访：AGI还需10年，RL其实很糟糕，AGI不会导致经济大爆发
Andrej Karpathy在两小时万字采访里阐述AI观点。他认为AGI还需十年，强化学习糟糕，其不会带来经济爆炸式增长。还分享创办Eureka的愿景，想构建“知识斜坡”，让人类在AI时代有更强认知力。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。
Meta 将移动端消息基础设施从 C 迁移到 Rust
Meta正在用Rust逐步重写移动端消息基础设施，替换老旧C代码。内存安全、开发者幸福感和长期可维护性是迁移动机。编译核心库用于多应用，虽Rust学习曲线陡，但团队用多种方式克服，还改进工具链。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
GPT-4o，确认死亡
太平洋时间13号早上10点，OpenAI正式下架GPT-4o等旧模型。GPT-4o因吉卜力风爆火，也因“谄媚”饱受争议。网友不满，呼吁回归，因其新模型太“人机”。模型与用户建情感连接是双刃剑，AI安全与伦理成议题。