新推理模型」共找到 9609 篇相关文章

算法论文8

浙大推出首个「多图应用题」基准GSM8K-V,全面评估 VLM数学推理能力

浙江大学团队推出视觉数学推理基准GSM8K-V,将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面,经三阶段构建。实验显示,现有视觉语言模型在视觉推理上短板明显,为模型发展指明方向。

新智元
新闻资讯7

先验+后验加持,大模型能否 hold 住推理预测的现实「溢出」?

多数大模型评估基准依赖固定数据集,难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准,将重点移至动态预测能力。实验显示不同模型在不同任务表现有别,大模型在现实场景运用仍待优化。

机器之心
推荐文章8

模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
算法论文8

五倍推理加速,激发自回归潜能,苹果工作让LLM预测未来

近年来自回归训练方法成语言模型主流范式,但推理阶段计算开销大。苹果研究人员开发框架,让预训练自回归大模型多 token 预测,代码和数学任务推理加速达 5.35 倍,一般任务约 2.5 倍。

机器之心
新闻资讯7

英伟达放弃GPU上LPU:推理芯片被曝Groq即买即用,OpenAI第一个吃螃蟹

英伟达将在GTC大会发布AI推理系统,核心芯片基于Groq的LPU架构,首位大客户是OpenAI。选择外部架构与时间窗口有关,推理场景中LPU更适配。同时,英伟达推理芯片面临诸多威胁。

量子位
开源动态8

无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab

多图像、长视频让大型视觉语言模型推理成本暴涨,成算力瓶颈。腾讯AI Lab联合CMU提出VScan,通过两阶段视觉token筛选机制,在几乎不损性能的前提下实现推理加速,且已在GitHub开源。

量子位
算法论文8

模型越反思越错,原来是长链推理通过自我说服加重幻觉 | 北邮

北邮研究团队通过思维链审计实验,揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域,分析推理过程,发现反思会加重幻觉,且现有检测方法难以应对。

量子位
开源动态8

推理“刹不住车”?框架让DeepSeek-R1们告别过度思考,已开源

DeepSeek - R1等推理模型能力增强,但出现过度思考问题,如步骤繁冗、表述拖沓、输出冗长。浙大等团队提出Self - Braking Tuning(SBT)框架,能让模型适时终止推理,在多数据集测试中效果显著。

量子位
算法论文8

从显式CoT到隐式CoT:复旦让AI告别啰嗦,实现大模型高效沉默推理

复旦大学等机构团队论文提出SIM - CoT技术,解决隐式思维链推理准确率低、不稳定问题。该技术引入步骤级监督,提升性能、效率和可解释性,在多模型和任务测试中表现出色,让大模型高效沉默推理

AIGC开放社区
新闻资讯7

刚被马斯克收购,Cursor掏出模型:10万卡加持,和Opus、GPT一样大

本周二,刚被SpaceX收购的Cursor在首届旗舰大会宣布的1.5万亿+参数模型,在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当,还谈了对其他AI实验室看法,模型将几周内发布。

机器之心