「高稀疏度MoE结构」共找到 712 篇相关文章
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
突发！微软与OpenAI同日开火：语音之战+通用大模型，AI霸权决战打响
OpenAI发布语音大模型时，微软同日推出自研语音模型MAI-Voice-1和通用模型MAI-1-preview。MAI-Voice-1效率高、表达丰富，MAI-1-preview采用MoE架构。微软此举在语音战场布局，也为与OpenAI谈判增加筹码。
清华给电子显微镜加上Agent，DeepSeek V3全程调度，数天流程缩短至几分钟
清华大学牵头，联合多机构推出电镜领域AI Agent AutoMat，它能把原子级STEM图像转成标准CIF结构并给出关键物性，将人工流程缩短至几分钟。它还构建数据集验证，性能超现有工具，不过也有瓶颈待解决。
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
“没有AI味”的Flux.1新模型，现可以免费试用
全新AI生图模型FLUX.1 Krea [dev]发布，可在Krea Edit免费试用。官方称其“没有AI感，只有自然细节”。实测它在光影和自然细节表现不错，但对形象、时空结构理解待提升，还存在额度使用问题。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
专为小说、角色扮演等而生：元象开源泛娱乐场景底座模型
元象作为AI与3D技术服务公司，此次开源XVERSE-Ent系列中英双语大模型。它采用MoE热启动技术与三阶段训练策略，解决泛娱乐场景痛点，适配多元语境，有高部署性价比，为行业提供泛娱乐AI解决方案。
评论送书 | 一文读懂多Agent系统演进趋势
文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈，如语义膨胀、信息密度不均等；阐述Agent间协同结构演化，包括松耦合编排、语义协同等；还说明传统Prompt工程局限及通信与上下文协议的作用。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
为什么「高价值任务」成了所有 AI Labs 的T0 级战略？｜ 拾象 AGI 备忘录
过去一季度模型进步显著，头部 AI labs 战略对齐，将 coding 列为 T0 级战略，争抢高价值任务。文中还探讨了 AI 对企业 SaaS 的冲击、ToC/ToB 二分法的过时、硬件挑战及高价值任务的二八结构等问题。