「混合长度理论」共找到 461 篇相关文章
AI写代码终于不瞎烧钱了：边车路由让顶级性能成本直降35%
传统模型路由用于写生产代码易掉链子，Cognition发布的Devin Fusion混合模型框架可解决该问题。官方测试显示，它能降35%编码智能成本且质量无明显下滑，从实际测试案例可看出其适用边界。
2050大会 | 「AGI4Science·新生论坛——正在生长的科学地图 」嘉宾阵容全览！
2026年4月25日上午9点，2050大会将迎来“AGI4Science·新生论坛”专场。该论坛由王婷召集，以“三幕剧”展现AI for Science从理论到产业的图景，涵盖多领域，17位专家将探讨AI4S的生长与变革。
让大模型上车：理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。
大模型的第一性原理：（三）信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
从“卡脖子”到“破局点”：一家中国公司的高端半导体键合突围战
芯师爷专访迈姆思半导体负责人潘总，该公司专注高端半导体材料“再制造”，技术体系有高端SOI制造、异质集成、混合键合三大支柱。其在多领域有领先产品，技术壁垒高，产能将逐步扩大，供应链安全可控。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
节前重磅：开源旗舰模型新SOTA，智谱GLM-4.6问世
国庆前智谱AI发布新一代旗舰模型GLM-4.6并将开源，它在多方面提升，如编码、上下文长度等，评测性能佳，token消耗降低。经实测，其代码、研究、开发等能力强，成全球开源AI领域重要力量。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。