「推理token」共找到 2499 篇相关文章
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。
Mini-SGLang，30万行代码浓缩为5000行，大模型推理高性能教学与研究模版
SGLang发布Mini-SGLang，将30万行代码缩至5000行，保留核心特性，为大模型推理提供高性能教学与研究模版，解决教育门槛高和科研原型开发难的痛点，还经测试验证了性能。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
地球级AI智能体爆诞！谷歌地球开外挂，一夜为20亿人洪水预警
谷歌结合世界建模经验与Gemini推理能力，升级Earth AI。它是地理空间AI模型和数据集，可自动连接不同地球AI模型。谷歌还推出新成果，如新一代影像与人口基础模型、空间推理智能体，可用于灾害预警等。
AI 提效了，老板觉得自己又行了：可代码行数和 Token 排名，真该拿来裁人吗？
文章探讨AI提效下的行业现状。开发者节奏加快，企业收紧人力。不同行业提效有别，互联网显著，金融审慎。还谈及效率悖论、裁员依据、生产力衡量及成本管控，指出提效应用于承接项目而非裁员。
欢迎 GPT OSS —— 来自 OpenAI 的全新开放模型家族！
OpenAI推出GPT OSS开放模型家族，含117B参数的gpt‑oss‑120b和21B参数的gpt‑oss‑20b。采用Apache 2.0许可证，资源占用低、推理快，适多场景，已接入Hugging Face服务，还介绍了推理、部署等内容。
3个月手搓Gamma架构，这个团队打造出了场景白盒化推理的“下一代内容OS”
AI应用从生成范式转向任务执行范式，Pi团队3个月手搓Gamma架构，打造出场景白盒化推理的“下一代内容OS”。Pi将AI生成与人的编辑能力结合，解决传统创作难题，实现创作全流程系统内闭环。
想知道你的LLM API被过度收费了吗？隐藏的Tokens终于可以被审计了
马里兰大学CASE Lab团队研究商业不透明大模型服务（COLS），定义其风险，提出三层审计蓝图。还推出验证框架CoIn，能高效识别token数量膨胀，有可定制性且审计开销低，为构建信任提供技术支撑。
智能体请求暴增 9.4 倍，token 账单却没涨：Uber 公开 AI 软件工厂省钱方法
AI 工具已嵌入 Uber 软件开发各阶段，智能体请求量增长 9.4 倍，但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考，包括智能体会话层级、成本公式、指标测算及优化手段，还提及未来举措。
DeepSeek识图模式是个新模型？！一手实测在此（没错我被灰度到了）
作者喜提DeepSeek识图模式灰度测试，实测发现其非思考模式速度快，推理有幻觉；思考模式推理慢且冗长。实用功能如OCR、复原HTML较靠谱，但色盲测试偶翻车。该模式或用独立视觉模型，且多模态进展超预期。