「推理模式」共找到 2839 篇相关文章
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
Ilya闹翻，奥特曼400万年薪急招「末日主管」！上岗即「地狱模式」
近日，奥特曼为OpenAI招募「准备工作负责人」，年薪55.5万美元加股权，约400万人民币起步。该岗位像「救火队长」，要管控AI风险，因当前AI风险更严峻，且OpenAI安全团队人员流失。
别难为 ChatGPT 了！面对海量资料，NotebookLM + Gemini 的“外挂模式”才是降维打击
Google打通NotebookLM和Gemini后，二者协作效果出色。NotebookLM可拆解复杂信息，Gemini以其为参考数据源答案更精准。二者还能基于笔记本做网站、视频、图片等，各有优势、双向协作。
AAAI 2026 | 革新电影配音工业流程：AI首次学会「导演-演员」配音协作模式
现有AI配音缺“人情味”，因跳过“导戏”“揣摩”环节。内蒙古大学刘瑞教授团队在AAAI 2026提出Authentic - Dubber框架，模拟真实配音流程，实验显示其情感表达优势明显，提升了AI配音竞争维度。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
Agentic Deep Research新范式，推理能力再突破，可信度增加，蚂蚁安全团队出品
尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
ICCV 2025 | UniOcc: 自动驾驶占用预测与推理统一数据集及基准平台
来自多所高校团队在ICCV 2025发表统一基准框架UniOcc，融合多源数据，有体素级运动流标注等创新，提出免真值评估指标，支持协同预测，已开源，能推动自动驾驶迈向新阶段。