「混合注意力机制」共找到 1161 篇相关文章
Harness Engineering: C 端 AIGC 内容生产自优化实践
文章介绍蚂蚁保保险快查深度解读页面生成系统（DIPG），它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式，解决LLM实时生成时延和质量问题，还阐述多Agent协作、校验机制及回灌流程等。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
Meta“Token榜”逼疯打工人，一夜烧掉公司几万刀！AI时代Token焦虑越来越离谱
据报道，Meta 公司内网出现 AI token 消费排行榜，追踪超 8.5 万员工 token 使用情况，过去 30 天消耗超 60 万亿 token。这反映“Token 最大化”文化，引发 token 消耗是否等同于生产力的争议。当前 Agent 系统高 token 消耗是补偿机制，应提升使用效率。
刚刚，面壁小钢炮开源进阶版「Her」，9B模型居然有了「活人感」
2月4日，面壁开源全双工全模态大模型MiniCPM - o 4.5，在多方面达SOTA水平。它能边看边听边说，实现自主交互。实测中表现如真人，其架构和机制有创新，还适合端侧部署，或开启人机交互新时代。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。
十周前才写下第一行代码，如今颠覆 9 个行业？员工人均 10 万粉，00 后创业者狂言：我们将超越 OpenAI
本文聚焦 21 岁 00 后创业者 Roy Lee 和他的桌面 AI 助手 Cluely。该产品获高额融资、估值达 1.2 亿美元且已盈利，但也饱受争议。文中还揭秘其成功热度的关键、团队情况，探讨 AI 时代产品留存演变。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。
机器学习先驱Daphne Koller警告：AI制药不是魔法棒，下一代药物发现还缺1000倍数据
知名学者 Daphne Koller 在 a16z News 发文指出，AI 制药当前最受关注的进展多在分子设计，但新药研发难题在上游，疾病机制的靶点选择错误导致大量临床试验失败，且当前数据距构建完整生物学因果模型差约 1000 倍。
估值神话即将崩盘？Palantir CEO狂喷OpenAI和Anthtropic：拿走企业核心机密还要收过路费
Palantir CEO Alex Karp在电视采访中拆解OpenAI和Anthropic商业模式，指出企业花买token的钱未获匹配价值，商业机密被拿走。他质疑按token收费机制，认为不能稳定创造价值。还指出企业数据可能使模型取代自己，行业高估值或松动。
ICML26 | 浙江理工大学马啸讲师和南京大学李武军教授课题组联合提出EMCES：为强化学习合成更有价值的样本
强化学习获取高质量样本成本高、风险大，现有基于扩散模型的样本增强方法有局限。浙江理工大学马啸讲师和南京大学李武军教授课题组提出 EMCES，将情景记忆机制引入可控扩散模型，提升下游强化学习算法表现，论文已被 ICML2026 录用。