「Linear - MoE」共找到 150 篇相关文章
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
刚刚，Kimi开源新架构，开始押注线性注意力
智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
突发！微软与OpenAI同日开火：语音之战+通用大模型，AI霸权决战打响
OpenAI发布语音大模型时，微软同日推出自研语音模型MAI-Voice-1和通用模型MAI-1-preview。MAI-Voice-1效率高、表达丰富，MAI-1-preview采用MoE架构。微软此举在语音战场布局，也为与OpenAI谈判增加筹码。
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
专为小说、角色扮演等而生：元象开源泛娱乐场景底座模型
元象作为AI与3D技术服务公司，此次开源XVERSE-Ent系列中英双语大模型。它采用MoE热启动技术与三阶段训练策略，解决泛娱乐场景痛点，适配多元语境，有高部署性价比，为行业提供泛娱乐AI解决方案。
OpenAI久违发了篇「正经」论文：线性布局实现高效张量计算
OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。
美团也开源了大模型，但我觉得他们的野心是通用生活Agent。
美团发布并开源560B参数的MoE模型LongCat - Flash - Chat，推理速度快。与DeepSeek V3对比，输出速度优势明显。美团多个落地或内测AI功能服务C端生活场景，目标是打造通用生活Agent。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。