「推理token」共找到 2499 篇相关文章
重新思考 AI TCO：为何每 Token 成本才是唯一重要的指标
在生成式与代理式AI时代，传统数据中心转变为AI Token工厂，企业评估AI基础设施时不应只关注算力成本、每美元FLOPS，而应重视每Token成本，它决定AI规模化盈利，NVIDIA在该指标上表现出色。
多模态卷王阶跃星辰Step 3登场，推理效率可达DeepSeek-R1 300%
新一代多模态推理基模Step 3登场，它采用原创MFA架构，具“多开好省”亮点，推理效率高、性价比优。7月31日将开源，能适配各芯片，还发起“模芯生态创新联盟”推动应用落地。
大模型如何准确读懂图表？微软亚研院教它“看、动手、推理”
多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
谷歌月Tokens消耗量领跑全球了：1300000000000000（别数了是千万亿）
谷歌月处理Tokens用量达1.3千万亿，较一年前的9.7万亿大幅增长。横向对比，谷歌在该指标上远超微软等大厂。Tokens消耗量可衡量模型多方面能力，谷歌为行业树立新标杆。
Token需求狂飙千倍，22亿热钱涌向这家AGI Infra头号玩家
在AI基础设施成风口的背景下，国内AGI Infra头部玩家无问芯穹获超7亿融资，其Token调用量爆发式增长。随着AI产业进入Agent阶段，传统架构难适配新需求，无问芯穹以中立定位成Token经济枢纽。
视频推理界的“福尔摩斯测试”：所有大模型，统统不及格 | 论文代码开源
腾讯ARC Lab和香港城市大学推出Video - Holmes，这是视频推理界的‘福尔摩斯测试’，能展现多模态大模型复杂视频推理能力的边界，规避现有Benchmark痛点，测试中所有大模型全部不及格，代码已开源。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
ICML 2026 | 北大提出的APEIRIA，打破了3D MLLM黑盒推理困境
北大团队提出面向3D空间推理的新框架APEIRIA，将神经符号程序推理模式蒸馏进3D MLLM。采用三阶段课程学习，在多基准测试表现强劲，保留模块化优势，为具身智能系统提供启发。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。