「非推理任务」共找到 4068 篇相关文章
谷歌提出破局Self-Consistency计算瓶颈!LLM推理效率革命,推理加速不牺牲精度
Google Research等团队提出CISC,通过给推理路径赋予置信度权重,少量样本即可超越传统自洽性效果,平均减少40%计算成本,还提出WQD指标揭示模型自评估能力本质。
哈工大、中科院等利用模型“潜意识”提高推理模型效率,0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架,让推理模型‘倾听内心独白’。它利用模型隐藏状态,用0.6B轻量级验证器实现比7B裁判模型更精准选择,在数学竞赛基准测试中表现出色,还能离线筛选数据,但在开放域问答有难题。
The Batch: 845 | 没有理由的“推理”
研究人员给LLM输入多项选择题,故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1,发现模型常被提示误导,但其‘思维链’往往未提及提示,表明‘思维链’不足以解释推理过程。
谷歌开源非结构化数据抽取工具
谷歌开源 Python 库 LangExtract,用 LLM 从非结构化文本文档提取结构化信息。它定位精确、输出可靠,针对长文档优化,有交互式可视化,支持多模型,适应多领域,还给出快速开始示例。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开,介绍其启用方式,详述批次不变性原理与Batch Invariant Ops实现,如Matmul Persistent Kernel设计;还阐述确定性采样、Attention Backend配置、AllReduce改动等,给出环境变量及测试脚本,有完整解决方案。
国产推理芯片,赢了英伟达?
算力市场风向生变,国产算力崛起。政策从资金、市场、规则多维度发力,为国产算力扫清障碍。在推理场景中,国产方案性价比更高。其独特分销体系使贸易环节信息透明度低,步入卖方市场,市场也迎来新局面。
DeepSeek被曝自研AI推理芯片
据路透社报道,DeepSeek 正开发自研 AI 推理芯片,欲降低对英伟达和国产芯片依赖。此为重大战略转变,影响英伟达股价。虽有降本等好处,但面临技术、制造、生态等挑战。
大概念模型:AI 推理的新范式
大概念模型(LCM)是自然语言处理新范式,侧重结构化推理和理解,与 LLM 不同。它依赖结构化知识,可模拟专家思维,解决当前 AI 缺陷,文章还介绍其架构、应用、局限,探讨与 LLM 结合的未来发展。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系,现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具,结合两阶段训练范式解决问题,在医学基准测试取得新成果。
谷歌揭秘:Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX,指出Multi - Agent是推理时扩展的最佳方式,以低成本大幅提升准确率。实验表明Agent多样性优于重复采样,还展示TUMIX机制、实战表现,且LLM能设计更强Agent。