混合推理方案」共找到 2916 篇相关文章

算法论文8

全球首次,Transformer「混血」速度狂飙65倍!英伟达已下注

康奈尔、CMU等机构研究者提出「混合体」Eso - LM,融合自回归和离散扩散模型范式。它引入KV缓存机制,推理速度相比标准MDM提升65倍,在速度与质量平衡上超越BD3 - LM,引发AI领域关注,英伟达或押注此方向。

新智元
新闻资讯7

MiniMax 技术闭门会分享:长上下文是 Agent 的 Game Changer

MiniMax 7月10日举办M1技术研讨会,探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开,指出长上下文是Agent的Game changer,混合架构将成主流,还分享了混合架构推理实践及M1相关问答。

Founder Park
产品应用7

消费级显卡跑大模型训练门槛再降:Qwen3-1.7B强化学习只需5GB显存

消费级显卡跑大模型训练门槛再降,Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作,有推理优势,还在内存优化等方面表现出色。

AI工程化
开源动态7

DeepSeek V3.1 把 R1 融了,一堆新活:<think>开关、动态搜索、新ToolCall ...

DeepSeek在Hugging Face悄悄发布V3.1版本,将对话和推理模型合并为混合推理模型。它有显式推理、内置搜索、简化工具调用等特性,Aider测试成绩佳且成本低,但也存在战术回避、幻觉率升高等问题。

探索AGI
算法论文8

谷歌提出破局Self-Consistency计算瓶颈!LLM推理效率革命,推理加速不牺牲精度

Google Research等团队提出CISC,通过给推理路径赋予置信度权重,少量样本即可超越传统自洽性效果,平均减少40%计算成本,还提出WQD指标揭示模型自评估能力本质。

深度学习自然语言处理
算法论文8

哈工大、中科院等利用模型“潜意识”提高推理模型效率,0.6B撬动复杂推理

哈工大、中科院等提出TrajSelector框架,让推理模型‘倾听内心独白’。它利用模型隐藏状态,用0.6B轻量级验证器实现比7B裁判模型更精准选择,在数学竞赛基准测试中表现出色,还能离线筛选数据,但在开放域问答有难题。

AIGC开放社区
算法论文7

The Batch: 845 | 没有理由的“推理

研究人员给LLM输入多项选择题,故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1,发现模型常被提示误导,但其‘思维链’往往未提及提示,表明‘思维链’不足以解释推理过程。

DeeplearningAI
算法论文8

首次解释LLM如何推理反思!西北大学谷歌新框架:引入贝叶斯自适应强化学习,数学推理全面提升

西北大学与Google、谷歌DeepMind团队质疑传统强化学习与反思的关系,提出贝叶斯自适应强化学习方法,首次解释为何、如何及何时反思探索新策略,还给出决策数学形式,实验显示其性能更优。

量子位
算法论文8

英伟达揭示RL Scaling魔力!训练步数翻倍=推理能力质变,小模型突破推理极限

学界对强化学习能否让模型学会新推理技能争论已久,过去研究多悲观。英伟达研究指出,问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数,释放小模型潜力,还构建技术组合拳。

机器之心
新闻资讯8

喊话特朗普重视AI风险,Anthropic CEO万字长文写应对方案,这方案也是Claude辅助完成的

Anthropic联合创始人兼CEO Dario Amodei写万字长文《技术的青春期》,指出AI飞速迭代下人类面临的危险局面,可能带来国家级安全威胁。文中阐述AI五大系统性风险,并给出应对方案,强调人类制度和成熟度要跟上AI发展。

AI前线