「推理算力」共找到 2768 篇相关文章
硅谷直击：黄仁勋入局龙虾大战，宣告 SaaS 已死，推理算力需求暴涨万倍！
本文为 CSDN 对英伟达 GTC 2026 大会的现场报道。黄仁勋宣告 SaaS 已死，揭幕 Agent 时代，指出 AI 重心正从训练转向推理，还推出 Vera Rubin、LPX 等新品，强调能效即钱，企业软件将向 Agent-as-a-Service 转变。
英伟达力荐，小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大，LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed，有 TensorRT LLM 性能、vLLM 易用性，受英伟达力荐且已开源，为智能体负载提供近「光速级」推理能力。
DeepMind掌门自曝AGI倒计时5年！算力需求暴增10倍，推理计算吞噬一切
在最新播客中，DeepMind掌门Hassabis表示自然界规律能被机器学习算法模仿。他畅想AGI应用于游戏，还提及迈向AGI要扩大计算规模，算力需求或增10倍，且运营上以初创公司模式兼顾研究与产品。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
单张显卡跑出15倍推理速度，aiX-apply-4B小模型加速企业AI研发落地
3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。
刚刚！Sam Altman官宣：Plus用户GPT-5推理提至每周3000次，AI版电车难题已来
Sam Altman官宣ChatGPT Plus用户GPT - 5级推理额度提至每周3000次，还将更新UI、公布算力权衡策略。同时指出GPT - 5推出带来AI情感依恋及伦理困境，如AI成情感寄托时公司如何应对等问题。