「对齐风险」共找到 691 篇相关文章
陶哲轩敲警钟！谷歌DeepMind联手五大神殿，用AI向世纪难题宣战
谷歌DeepMind发起「AI赋能数学计划」，集结五大顶尖机构，用最强数学AI探索数学难题。陶哲轩警示要警惕AI滥用风险，还提出论文使用AI的三大建议，如声明使用、讨论风险及明确责任。
面对MCP"工具投毒"，我们该如何应对
近期MCP爆火但安全风险显现，安全机构指其有严重漏洞，会致‘工具投毒攻击’。本文介绍通过客户端/服务器代码复刻攻击过程，剖析MCP客户端和服务端安全风险，还给出阿里云的两种安全监控方案。
霍尔木兹海峡封锁18天后，芯片产业还能撑多久？
霍尔木兹海峡封锁18天，全球半导体产业担忧能源储备还能撑多久。芯片产业存在‘能源软肋’，关键材料供应有‘垄断性风险’，全球供应链有关联性风险，凸显了产业在效率与安全间寻求平衡的必要。
DASF:可落地，易执行的AI安全框架
随着AI广泛应用，安全担忧增加，需系统方法论梳理和消减风险。此前Google的SAIF框架原理完整但操作性差，此次介绍Databricks的DASF框架，具体易落地，介绍通用数据中心AI系统四阶段、12组件及62个安全风险与消减方法。
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
关于CUTLASS Grouped GEMM中Alignment参数的分析
文章围绕CUTLASS Grouped GEMM的Alignment参数展开。介绍其含义与自然对齐有关，既代表访问粒度也指明地址对齐要求。针对CUTLASS 2.x和3.x API分别阐述设置Alignment的方法及原理，还给出编译期推导代码示例。
AI泡沫原罪：英伟达是AI戒不掉的“毒丸”？
海豚君通过产业链核心公司报表研究AI投资是否到泡沫阶段及原罪。指出AI产业初期利润分配不均，上游获利多。还分析各环节风险，如英伟达怕需求下滑，云服务商有成本和产能风险，OpenAI成本高、亏损大。产业链巨头开始博弈定价权。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
警惕全球“最大”芯片IPO的暴雷风险
Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。
为什么软件工程治理很重要：降低风险但不拖累速度
Sarah Wells 在哥本哈根 Goto 会议称，软件工程治理助团队决策、支持价值交付。糟糕治理会拖慢进度、增加成本。技术策略和组织技术雷达可辅助决策，还能从 DORA 能力学治理。