搜索：混合注意力机制

「混合注意力机制」共找到 1161 篇相关文章

GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5

在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。

Anthropic研究员用Claude Opus 4.6智能体团队自主编写超十万行代码的C语言编译器，能运行《毁灭战士》、编译Linux内核。团队用拉夫循环等机制让Claude自主开发，虽有局限但全自动软件开发时代已提前降临。

1月11日马斯克宣布7天内开源X平台推荐算法，如今承诺兑现。新算法由Grok驱动，全AI化，移除人工规则。它双引擎驱动信息流、15种行为预测打分，还揭示过滤机制与设计理念，为创作者提供曝光建议。

谷歌发布 Nano Banana Pro 模型，将图片模型能力推向顶峰，支持中文。它能生成准确视觉内容、多语言文本，可混合多元素，支持多分辨率。经测试，其各方面表现出色，应用场景丰富，版权限制宽松，三方应用和谷歌官方均可使用。

文心5.0正式发布，主打原生全模态，支持全模态输入和输出。官方测试显示其多维度表现突出，在LMArena文本排行榜并列全球第二。实测其理解精细、能捕捉细节，技术上采用自回归统一结构和超大规模混合专家架构。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

港大团队提出TreeSynth方法，受决策树启发，将数据合成问题映射到其空间分割机制。它采用两阶段流程，能从零合成数据，还可优化现有数据集。实验显示其在多基准任务上性能提升显著，可扩展性佳。

小米团队开源通用音频大模型MiMo-Audio，集多种功能于一身，支持7国语言零样本克隆和中英混合合成。首包延迟低，效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。

扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。

当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。