「线性注意力架构」共找到 2045 篇相关文章
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。
无损减少80%激活值内存，提升5倍训练序列长度，仅需两行代码
港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
无法蒸馏的美国市场，谁在分食 Frontier Labs 百亿美金预算？
本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。
时间会证明光的
市场曾质疑AI资本开支高增长的持续性，如今随着头部模型公司ARR非线性爆发式增长，AI商业正向循环打通。在AI硬件产业链中，光互联是国内厂商全球参与度最高、份额最稳固的环节，正迎来最好时代。
腾讯 Hy3 一手实测，Agent 能力提升不止一点
作者拿到 Hy3 模型测试资格，介绍其架构、性能和价格优势，还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果，最后评价 Hy3 能力、价格、适配方面的表现，并分析 WorkBuddy 领先原因。
深度讨论新一轮模型发布：当智能进入月更时代 | Best Ideas
近期全球模型迎来高密度发布期，Anthropic、OpenAI、腾讯、DeepSeek 等纷纷推出新模型。文章复盘了 Opus 4.7、GPT - 5.5、DeepSeek V4 等模型实测体验，探讨架构变化、能力边界与产业影响，还分析算力、token 价格等问题。