「对齐风险」共找到 698 篇相关文章
视觉语言模型“扫地僧”：360低调开源FG-CLIP2登顶29项全球基准测试 | 甲子光年
两周前，360人工智能研究院低调开源FG - CLIP2，它在29个公开基准测试中超越Google和Meta的模型。该模型实现局部细粒度识别和原生双语对齐，为AI视觉理解设新基准，已服务开发者并在多领域落地。
“别急着裁底层，很多高管才最该被 AI 接管？”
文章围绕AI在企业中的应用展开，探讨AI预算分配、build vs buy、岗位替代等问题。指出AI预算将按人分配，建东西变便宜但有瓶颈，高层瓶颈更适合先被AI优化，代码审查或成高风险环节。
“软件比白领更先被 AI 击穿”！Anthropic CEO 最新改口，反讽马斯克危言耸听，两大佬隔空互掐
Anthropic获300亿美元G轮融资，马斯克怒怼其AI有“厌世、反人类倾向”。Anthropic CEO Dario Amodei暗讽马斯克“危言耸听”，改口称软件比白领更易被AI击穿，还探讨了AI在医疗、经济、民主等方面的影响及风险。
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
当微信支付开放MCP之后，我却有一点后怕。
微信开放微信支付MCP，补上智能体链路支付短板，使用门槛低。作者分享体验，做了多个案例，如一周健康餐智能体。但全量开放或带来风险，如AI自主完成灰产闭环、AI骗AI钱等。
Agent产品，快者为王？Anthropic 和 Databrick CEO 对话解读
Anthropic和Databrick以「人工智能的未来：面向各领域的专用Agent」为主题举办线上峰会，两家公司CEO Dario Amodei和Ali Ghodsi对谈，分享Agent未来、相关合作等话题，还探讨数据价值、治理风险及AI应用迭代等问题。
“软件比白领更先被 AI 击穿”！Anthropic CEO 最新改口，反讽马斯克危言耸听，两大佬隔空互掐
Anthropic获300亿美元G轮融资，马斯克怒怼其AI“厌世、反人类”。Anthropic CEO Dario Amodei暗讽马斯克说法“危言耸听”，还改口称软件比白领更易被AI击穿。此外他还谈了AI在多领域的影响及风险应对。
对噢！为什么LMs就不能直接输出答案+confidence呢？
当前语言模型在复杂问答任务中存在校准退化问题，本文提出RLCR方法，将概率校准融入RL训练目标，重构奖励函数，在多个数据集实验中显著降低校准误差，不损失准确性，为高风险场景AI部署奠基。
硅谷火了一年的 AI Roll-Up，正在把“买公司”变成新的 AI 创业模式
文章指出，AI投资正从“卖工具”走向“拥有运营”，AI Roll - Up模式兴起。它回应了AI SaaS的结构性困境，经济模型与传统PE roll - up有别。五个趋势加速其发展，但也面临整合、竞争等风险，还介绍了投资地图和幕后资本力量。
81岁甲骨文创始人冲上首富！难怪马斯克念念不忘OpenAI
美股开盘后甲骨文股价一度狂飙43%，将81岁创始人拉里·埃里森送上全球首富宝座。因甲骨文披露与OpenAI的3000亿美元算力采购协议，此合同属“星际之门”计划，对双方而言是高风险豪赌。