推理算力」共找到 2695 篇相关文章

新闻资讯7

英伟达放弃GPU上LPU:新推理芯片被曝Groq即买即用,OpenAI第一个吃螃蟹

英伟达将在GTC大会发布新AI推理系统,核心芯片基于Groq的LPU架构,首位大客户是OpenAI。选择外部架构与时间窗口有关,推理场景中LPU更适配。同时,英伟达推理芯片面临诸多威胁。

量子位
新闻资讯7

o3-pro答高难题文字游戏引围观,OpenAI前员工讽刺苹果:这都不叫推理那什么叫推理

OpenAI“最新最强版”推理模型o3 - pro引发关注。首位全职提示工程师给它设难题,它推理后答对。OpenAI前员工借此讽刺苹果。各大评测榜单显示其表现与官方有差异,苹果&SpaceX前工程师分享使用心得,肯定其表现。

量子位
8

大模型思维链推理速度倍增!——RoT新框架把思维链「画」进隐空间

随着大模型规模扩展,思维链(CoT)成处理复杂推理任务标准范式,但显式CoT依赖长序列生成,隐式CoT面临优化挑战。腾讯提出RoT新框架,利用视觉编码器将文本推理步骤转为视觉嵌入,实现Token压缩与推理加速,且过程可分析。

腾讯技术工程
开源动态8

预训练就学会思考!字节、北大等用14亿参数,撬动百亿模型推理能力

字节、北大等联合发布Ouro模型,用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考,通过三大创新构建推理能力,在基准测试中表现优异,实现参数效率提升,是潜在推理范式的胜利。

AIGC开放社区
算法论文8

1.5B刷新数学代码SOTA!快手&清华精细化Token管理,LLM推理能力飙升

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理,对知识型和推理型Token差异化训练,让知识和推理同步更新且互不干扰,在数学和代码任务表现出色。

量子位
开源动态8

大模型结构化推理优势难复制到垂直领域!最新法律AI评估标准来了,抱抱脸评测集趋势第一

多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam,它含4886道题,每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难,LEXam引入评估新模式,还对不同模型做了测试。

量子位
新闻资讯7

中美算力,站在2000亿美元的分岔路口

高盛报告称2025年全球人工智能投资规模或接近2000亿美元。中美算力发展站在分岔路,中国追性能,美国被能源限制。全球算力市场有新变化,中国本土芯片崛起,各方也在热议AI是否有泡沫。

芯师爷
产品应用8

NVIDIA 推出Rubin CPX,专为AI推理设计的GPU

NVIDIA发布专为大规模上下文AI推理设计的Rubin CPX GPU,性能提升显著,集成视频编解码器和长文本推理处理。新平台算力强,适用于代码生成与视频处理,多家公司将采用,2026年底上市。

AI工程化
新闻资讯7

十载磨「芯」:云天励飞冲击港股AI推理芯片第一股

7月30日,云天励飞向港交所递交H股上市申请,迈向“A+H”新阶段。它是中国首家实现国产高算力AI推理芯片商业化的公司,坚持“全自研、国产化”,现进一步聚焦AI推理芯片,构建“1+N”业务架构。

芯师爷
算法论文8

TRM思考奖励模型上线,大模型推理质量终于能量化了 | ICML‘26 Oral

大模型推理评测多只看答案,忽略推理过程。上海多校团队提出TRM,用ME² principle刻画推理质量,DAG-based pairwise evaluation还原结构,训练奖励模型,让推理质量可度量、训练和优化。

量子位