「隐线性函数」共找到 227 篇相关文章

开源动态8

Linear-MoE:线性注意力遇上混合专家的开源实践

近年来,线性序列建模和混合专家(MoE)研究进步大,但两者结合研究少,相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架,实验验证其有诸多优势。

机器之心
开源动态7

DeepSeek悄悄开源LPLB:用线性规划解决MoE负载不均

昨天,DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配,能处理动态波动,但也存在忽略非线性成本等局限,对 MoE 架构训练加速有参考价值。

机器之心
开源动态9

面向 Qwen 系列模型线性注意力的高性能优化实践

本文整理自阿里巴巴Qwen团队工程师在AICon 2026深圳站的技术分享,针对大模型长序列下线性注意力原实现并行度不足、访存冗余、SFU负载过高等痛点,推出FlashQLA高性能GPU算子库,实现最高3倍性能提升,现已开源并成为FLA官方后端。

InfoQ
产品应用8

面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文

面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。

AIGC开放社区
推荐文章8

从 Sigmoid 到 SwiGLU:一文读懂神经网络激活函数的设计逻辑

本文系统梳理神经网络激活函数的发展历程,从传统普通激活到门控激活,讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景,帮助入门者理解设计思路

AINLPer
算法论文8

数学的上帝粒子!一个运算符能导出所有基本函数

波兰雅盖隆大学的Andrzej Odrzywołek在论文中指出,仅用一个叫EML的二元运算符加常数1,就能推导科学计算器上所有基本函数,还可能为机器学习符号回归提供新思路。

机器之心
算法论文8

ICML 2025 | M+框架来了,增加LLM隐空间记忆,不再受上下文窗口限制

本文提出M+长期隐空间记忆扩展框架,在MemoryLLM之上,将8B级模型有效记忆跨度从不到20k提升到160k+,显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题,为下一代语言模型提供支撑。

机器之心
开源动态8

全流程国产GPU,上下文提速100倍!中国科学院发布「线性复杂度」类脑大模型

中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0,训练推理全用国产GPU。它具线性复杂度,超长序列处理速度快,还开源7B模型,为类脑智能发展提供新思路。

新智元
算法论文8

算力成本大降!马尔可夫思考机来了,LLM推理成本直接降为线性

用强化学习让LLM具备推理能力耗费颇高,计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机,重构强化学习形式,让计算量呈线性,实验效果显著,还能与先进模型兼容。

机器之心
算法论文8

40倍推理加速!复旦&微软:用「非线性流」拟合复杂轨迹,2步生成媲美原画

ArcFlow是复旦与微软提出的图像生成加速方案,引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质,实现约40倍推理加速和4倍训练收敛加速,微调极少参数,在多模型验证效果出色。

量子位