推理速度」共找到 2525 篇相关文章

产品应用8

32个随机数字,1分钟推演地球未来15天丨谷歌DeepMind

谷歌DeepMind发布WeatherNext 2,运行速度比上一代快8倍,分辨率达小时级。其关键是新提出的FGN功能生成网络,通过输入32个随机数字生成多样天气情景,速度快且准确率高,虽有小瑕疵但实用。

量子位
开源动态7

类R1训练不再只看结果对错!港中文推出SophiaVL-R1模型

DeepSeek - R1爆火后,类R1结果奖励训练范式引发推理热潮,但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1,引入‘思考奖励’机制,还用Trust - GRPO算法解决奖励欺骗问题。

机器之心
算法论文8

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。

量子位
推荐文章8

面向多工具任务调度的两种路径:MCP vs Agent + Function call

本文围绕大语言模型智能应用中的工具与数据接入问题,介绍了基于 Agent + Function Call 的动态调度机制与基于 MCP 的标准化接入框架,分析了不同场景下的适用性,还探讨了二者未来的协同融合方向。

阿里云开发者
推荐文章8

卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独

当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。

量子位
新闻资讯8

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

昨天,英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX,将大模型推理带入「百万Token时代」。它性能强大,能带来高回报,可重写推理经济,还将得到英伟达全栈AI生态支持,预计2026年底可用。

新智元
8

仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。

鱼羊
开源动态8

社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。

Hugging Face
新闻资讯7

究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片

近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。

机器之心
开源动态7

PaperDebugger:开源的学术版Cursor

PaperDebugger是AI驱动的学术写作助手,能调试和改进论文,提供智能建议。它用基于MCP的编排引擎,模拟学术流程,有聊天、插入、评论等功能,只读取项目,保障隐私。

PaperAgent