「混合线性架构」共找到 2039 篇相关文章
32k微调处理百万Token:21倍的推理加速,10倍的峰值显存节省,实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构,有双轨并行记忆系统,能恒定内存、线性时间处理文本,在基准测试超主流方法,实现21倍推理加速和10倍显存节省。
DeepSeek-V3.1 发布,官方划重点:Agent、Agent、Agent!
2025年8月21日,DeepSeek V3.1正式发布。它采用混合推理架构,支持双模式,网页端、App、API均升级,上下文拓展至128K。其智能体能力增强,思考与输出效率提升,还具备API新特性,模型已开源,价格也将调整。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。
Sebastian Raschka 2026预测:Transformer统治依旧,但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年,Transformer架构在未来至少一到几年仍占统治地位,但会在效率和混合上微调。同时,扩散语言模型虽有工具调用缺陷,但在数据稀缺时或成更好的学习者。
业务逻辑的“坍塌”:当应用层只剩下胶水代码,在 AI Agent 时代,我们该构建什么
作者梳理从“怀疑AI”到“理解并驾驭AI”的心路,探讨LLM不确定性、AI开发概念,手搓Agent示例介绍开发关键点,分析LangChain价值,思考混合架构,还从性能视角看LLM,回顾其关键跃迁。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍
新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。
AI Coding 之后,如何让 Agent 进入企业研发全链路?得物推荐的 Harness 实践
得物资深技术专家白忠魏在AICon大会分享实践。团队目标是将AI Coding扩展为全链路方法,介绍了PDCA循环、全链路前提、七阶段护栏等探索,还提及用知识体系和混合Agent架构解决问题,已有阶段性成果。
万亿思考模型夺下IMO金牌,无缝接入OpenClaw!一句话手搓丐版PS
2026年AI圈竞争激烈,闭源巨头巅峰对决时,开源社区迎来中国队的「技术核爆」。全球首个万亿级混合线性「思考模型」Ring - 2.5 - 1T开源,它能力强大,还能无缝接入Claude Code,实战表现亮眼。
中国AI芯片大突围,DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布,是中国AI技术自主性的战略突围。它有6850亿参数,采用UE8M0 FP8适配国产芯片,具混合推理架构、Agent能力等。其发布或重塑AI产业格局,推动国产芯片发展。