「混合线性架构」共找到 2039 篇相关文章
Karpathy投了一家AI记忆公司,撞名DeepSeek Engram记忆架构
新公司Engram完成9800万美元融资,投资人有Andrej Karpathy等。它想为AI构建能持续学习的“记忆层”,解决模型吸收组织内部知识问题,首个产品是面向Agent的API,已与多家合作。
首发Omni-Flow流式全模态架构,消费级显卡就能跑
面壁智能等联合发布MiniCPM-o 4.5技术报告,公开Omni-Flow流式全模态框架。该模型凭9B参数实现端到端全双工全模态,可在消费级显卡运行,还推出在线体验Demo等,性能表现佳,应用潜力大。
Transformer可以改装成Mamba了:苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba,采用‘两步走’策略,先造中间形态,再转成Mamba,避免性能崩塌。实验显示,新方法性能几乎没掉,成本逻辑改变,为模型降本重构提供新可能。
重构线性视觉Transformer,精度与效率双平衡 | CVPR'25
南洋理工、北航与合工大联合提出CARE Transformer,以非对称解耦建模局部与全局,降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度,打破“效率与精度不可兼得”困局。
Kimi新架构让马斯克叹服!17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术,将注意力机制“旋转90度”。该技术可让模型“回头看”,经Kimi Linear 48B大模型验证,训练效率提升25%,推理延迟增加不到2%。
黄仁勋CES放出大杀器:下一代Rubin架构推理成本降10倍
在CES 2026展上,英伟达黄仁勋介绍多项进展。下一代Rubin平台含六款芯片,推理成本降10倍;发布Alpamayo 1开源模型助力自动驾驶;还推出物理AI新模型等,携手伙伴展示机器人。
AI 代码审查再进化:AutoDev 多智能体协作架构深度解析
现代软件开发中,代码审查存在信息割裂、人工效率低等痛点。AutoDev 借助多智能体协作与信息聚合,实现从分析到修复的闭环智能流程,还构建多 Agent 协作体系,未来将集成更多能力。
视觉生成的另一条路:Infinity 自回归架构的原理与实践
本文整理自字节跳动韩剑在AICon 2025北京站的分享,以Infinity为例介绍自回归视觉生成原理,对比其与扩散模型,展示Infinity升级方案成果,它在高分辨率文本到图像任务能与扩散模型竞争。
SRO架构赋予Qwen-2.5-VL推理能力,性能飙升16.8%
文本领域推理模型成就大,但扩展到多模态大语言模型遇阻力,如冷启动初始化不足等。为此提出 SRO 三阶段训练框架,经测试,ReVisual - R1 平均性能提升 16.8 个百分点。
OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算
OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。