「稀疏矩阵」共找到 179 篇相关文章
100%纯血国产AI反超Suno！一个下午做出百万预算主题曲
流媒体平台Deezer数据显示，AI歌曲产能虽高但播放率低，尤其中文歌问题突出。音潮团队从底层重构音潮大模型V4.0，实现算力国产化，产品矩阵四线齐头并进，走出一条有别于Suno的发展路线。
刚刚，阿里Qwen3.6又悄悄放出4个开源权重，卷疯了
继今年2月发布Qwen3.5系列后，阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性，为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。
无需租GPU，一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
40年首次突破！清华大学发布全新最短路径算法，打破理论瓶颈:数据中心有望节省大量计算资源
清华大学Ran Duan、Longhui Yin团队发表论文，提出确定性新算法，在稀疏图上表现超经典Dijkstra算法。新算法时间复杂度为`O(m log²/³ n)`，不维护全局有序顶点队列，应用前景广，可节省计算资源。
用动作分块突破RL极限，伯克利引入模仿学习，超越离线/在线SOTA
如今强化学习在多领域成果显著，但在长跨度、稀疏奖励任务中表现欠佳。加州大学伯克利分校研究者提出Q - chunking方法，将动作分块引入基于时序差分的强化学习，解决探索效率和值传播问题，实验表现优异。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。