「激活值钳制」共找到 433 篇相关文章
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。
“稚晖君”智元机器人豪掷 21 亿，抢跑宇树、砸出“人形机器人第一股”？！
北京时间7月8日晚，智元机器人相关主体拟21亿收购上纬新材63.62%股份，交易完成将成绝对控股股东，有望成A股“人形机器人第一股”。智元2023年成立，有技术和产品，已9轮融资，估值150亿。
媲美DeepSeek！腾讯开源新版混元模型：AI Agent强化，超30种智能体指令
腾讯开源混元大模型最新版本Hunyuan - A13B，为专家混合模型，有800亿参数，130亿激活。支持快慢思考模式，针对AI Agent强化，设计超30种智能体指令。测试成绩超DeepSeek - R1等，架构和训练有优化。
Granola：ChatGPT、Notion 都入场的 AI 纪要，能真正沉淀工作流吗？
AI 发展带动大量 AI 纪要工具兴起，Granola 凭借新颖 AI 交互方式和对 AI 产品的深入思考，成为领域后起之秀。它提供 AI 补充人工笔记功能，改变了很多知识工作者工作流，但也面临用户习惯和大模型公司切入等挑战。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
200K上下文突破：AI编程新星Augment崛起
AI编程新星Augment以65.4%的SWE - bench评分登顶榜首，估值超128亿美元。它能理解海量代码上下文，支持多环境集成。但新式AI编程工具存在安全风险，如Agent Memory恶意攻击等，文中给出应对建议。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
为什么AI大厂的人，都跑去做生命科学了？
越来越多AI人才投身生命科学，创办数十亿美元估值公司。这是因训练通用模型门槛高，而生命科学技术可迁移、产业愿付费且有成功先例。新一代公司AI位置、融资、技术目标有变化，但仍面临数据和临床验证问题。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。