「轻量化推理」共找到 2328 篇相关文章
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
ICCV 2025 | UniOcc: 自动驾驶占用预测与推理统一数据集及基准平台
来自多所高校团队在ICCV 2025发表统一基准框架UniOcc，融合多源数据，有体素级运动流标注等创新，提出免真值评估指标，支持协同预测，已开源，能推动自动驾驶迈向新阶段。
华为CloudMatrix重磅论文披露AI数据中心新范式，推理效率超NV H100
华为发布60页重磅论文，提出下一代AI数据中心架构Huawei CloudMatrix及产品CloudMatrix384。它架构设计独特，性能高效准确灵活，打破算力、延迟和成本“不可能三角”，重新定义AI基础设施。
阿里智能体多轮推理超越GPT-4o，开源模型也能做Deep Research
通义实验室推出自主信息检索智能体WebDancer，其通过系统化训练范式为构建智能体提供路径，也为在开源模型上复现Deep Research系统提供指导。它在多数据集测试中表现出色，团队还对其未来应用做了展望。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
RL训练总崩溃？R1-Reward稳定解锁奖励模型Long-Cot推理能力
多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。
具身导航：感知推理是上帝，还是执行控制是命门？| GAIR Live 023期预告
具身导航正从‘几何避障’向‘空间智能’跨越，当前领域经历范式变革。GAIR Live 023期线上圆桌将聚焦其前沿进展与落地问题，邀请两位专家拆解底层逻辑，还给出了核心议题、讨论精华预览及参与方式。
为AI智能体选型、验收、优化提供量化依据：首部评估标准公开征集中
AI智能体成2025年十大战略技术趋势之首，到2028年至少15%日常工作决策将由其自主做出。但企业面临信任鸿沟，缺乏评估规范。首部聚焦AI智能体应用的团体标准公开征集起草单位与起草人，适用于多方，有核心内容与价值。
检索做大，生成做轻：CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。