「小模型推理能力」共找到 9209 篇相关文章
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
GAIR 2025 世界模型分论坛：从通用感知到视频、物理世界模型的百家争鸣
第八届GAIR全球人工智能与机器人大会世界模型分论坛上，五位青年学者围绕世界模型展开精彩演讲，话题涵盖通用感知、三维技术等。他们的研究为世界模型领域带来不同启发，目前该领域研究尚处起步阶段，共识未形成。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
NVIDIA发布最强开源模型，效果和速度全面超越DeepSeek R1
NVIDIA推出Llama - Nemotron系列开源模型，有LN - Nano、LN - Super、LN - Ultra三款。旗舰款LN - Ultra在权威测评中碾压DeepSeek - R1等，运行效率还更高。有“动态推理开关”功能，代码数据全公开，或引发AI推理效率革命。
全球第一！ 中国模型登顶榜首，首个可编辑AI语音来了
中国AI语音ViiTorVoice登顶全球语音权威评测榜单Seed - TTS，首创「局部编辑」能力，解决语音无法局部编辑痛点。实测效果惊艳，还具备精准情绪控制、无参考文本克隆等能力，部分模型已开源。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。