「端侧推理」共找到 2145 篇相关文章
算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。
MiniMax深夜开源首个推理模型M1，这次是真的卷到DeepSeek了。
MiniMax深夜开源首个推理模型M1，其上下文能力媲美Gemini 2.5 Pro。M1在部分评测中表现中规中矩，但在MRCR（4 - needle）测试中屠榜。它得益于MiniMax - 01基座模型，应用Lightning Attention机制，开源了40K和80K两个版本。
高通新款云端芯片公开！借推理抢英伟达蛋糕，市值一夜暴涨197.4亿美元
高通宣布推出AI200和AI250两款全新AI芯片进军数据中心市场，消息使股价一度飙升超20%。新品聚焦推理阶段，主打低TCO、高能效与强内存处理能力，还推进端到端软件栈。高通早有布局，已获订单。
刚刚，苹果WWDC掀AI重构风暴！端侧模型全开放、AI版Siri却成最大「鸽」王
北京时间今天凌晨，苹果全球开发者大会 WWDC 召开。苹果宣布系列系统更新，展示 AI 融入产品计划，开放端侧大模型，推 Xcode 26。但增强版 Siri 跳票，股价下跌，网友不满。
北大字节开源首个时空推理视频模型！思考过程全透明，性能超越GPT-4o
北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。
重构终端智能算力边界丨隼瞻科技在RISC-V中国峰会首发“智翼”端侧AI融合解决方案
人工智能时代，设备端侧面临多重挑战，传统方案渐显乏力。隼瞻科技在第五届RISC-V中国峰会推出“智翼”系列端侧AI融合处理器解决方案，以先进架构和多元优势，为行业破局提供新思路。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
MiniMax开源首个视觉RL统一框架，闫俊杰领衔！推理感知两手抓，性能横扫MEGA-Bench
MiniMax开源首个视觉RL统一框架V-Triune，由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制，让VLM能联合学习推理和感知任务。还开发Orsta模型系列，在MEGA - Bench表现出色，且MiniMax多模态布局动作多。
AI仅凭“自信”学会推理，浙大校友复刻DeepSeek长思维链涌现，强化学习无需外部奖励信号
UC Berkeley团队提出新训练方法Intuitor，大模型无需接触真实答案，仅优化自身信心就能学会复杂推理。该方法无需外部奖励信号或标注数据，用模型自身置信程度作内在奖励信号，在多任务表现良好。
英伟达官方推理指南来了！6倍无损加速，最优解全是华人写的
9月2日，英伟达技术博客上线《用投机解码做AI模型协同设计》，给出推理加速选型表。列入指南的核心方案多由华人团队主导，介绍了从外置草稿模型到n - gram查表法等方案，还提到硬件常数对模型架构的约束。