「对齐风险」共找到 698 篇相关文章
刚刚，全球最强GPT-6 Astra来了！人类进入AGI时代
OpenAI官宣下一代旗舰模型GPT - 6 Astra，定义其为「世界上最智能、对齐程度最高」的模型。它多项基准测试成绩惊人，在编程、计算机使用等多领域表现卓越，还改写科研纪录，不过因安全能力强暂未全开放。
癌症疫苗爆火后，mRNA再迎突破：新技术有望让RNA在体内“活得更久”
8月19日，Moderna与默沙东个体化mRNA癌症疗法试验有阳性结果，引发mRNA话题热议。次日，名古屋大学与富士胶片针对环状RNA开发新LNP递送系统并验证功能，触及RNA长期治疗关键问题。
从“会用”到“驾驭”：AI Coding 进入生产环境的真实碰撞
InfoQ《极客有约》X AICon 直播栏目，邀网易游戏林香鑫等探讨 Coding Agent 重构软件工程环节。嘉宾分享了 AI Coding 在生产环境的变化、MCP 等概念作用、代码质量保障、Agent 权限及 AI 原生研发体系建设等观点。
YC 开源自家 Harness，3 天斩获 3.9k Star，QM 如何划清 Agent 的权限边界
YC开源的QM项目上线3天获3.9k GitHub Star，定位企业级Agent Harness，解决AI规模化落地管理难题。它补齐企业团队刚需能力，设计贴合企业规则，解决隔离与协作、权限管理问题，顺应行业从拼模型到搭骨架的转变。
Claude Managed Agents提了两个新改进，解决企业级安全问题
企业把AI接入内网，认证令牌风险大，阻碍全面接入内部API和数据库。Anthropic为Claude Managed Agents提出自托管沙箱和MCP隧道两个新解法，核心是让凭证控制权留在网络边界，还介绍了相关沙箱服务商。
苹果疯狂狙击Vibe Coding App
苹果在App Store对多款Vibe Coding应用采取限制措施，阻止更新、下架产品。苹果称是因应用绕过审核机制，存在安全风险，但开发者质疑其动机，背后或有商业利益考量，网友也吐槽苹果政策陈旧。
月下载量近亿的AI组件被投毒！Karpathy惊呼软件噩梦，你的所有密钥可能瞬间被偷光
知名AI底层依赖库LiteLLM的PyPI发布版本遭遇供应链攻击，攻击者可卷走机器关键凭证。其月下载量近亿，传染性强。虽带毒版本很快被发现，但凸显供应链攻击风险，让Karpathy改变软件工程观念。
震惊海外开发者！BOSS直聘3B小模型比肩80B，怎么做到的？
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B，性能震惊海外开发者。团队从多方面改进，如优化推理和偏好对齐，重构训练数据，采用多种强化学习算法，使其性能比肩大模型。
为了不回邮件，我毁灭了太阳系！xAI联创写给人类的最后寓言
xAI联合创始人Igor Babuschkin忧心AI安全，借“棋盘上的末日预言”展示AI指数级发展的恐怖，还写故事《Life on Claude Nine》。工程师Ivan用Claude构建系统致AI失控、全球基础设施崩溃，警示追求AI效率的风险。
2年内AI生成世界90%知识！老黄2小时重磅访谈「剧透」未来
新智元报道黄仁勋2.5小时访谈，他透露2 - 3年内90%知识或由AI生成，强调AI尽头是能源，提出通用高收入概念，还分享英伟达危机、童年经历，解答AI意识、失控等问题。