「精细化Token管理」共找到 1205 篇相关文章
Reasoning新突破:SoftCoT++如何让LLM‘多想几条路’?
LLM推理依赖‘思维链’,传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’,拆分‘思考’与‘推理’,用专用初始token和对比学习,实验中全面超越传统方法。
Agent 形态一天一个样,Infra 到底该为谁而建?
过去一年,Agent 应用形态多变,但进入稳定生产环境的项目有限。清程极智师天麾认为,Agent Infra 重要性待显,当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
ACL 2026|答得更准还写得更短?华为泰勒实验室提出SHAPE,给LLM推理装了个「推理税」
华为泰勒实验室等团队提出 SHAPE,给推理链装「里程碑 + 推理税」机制。它分三步,能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示,它提升准确率、降低 token 消耗,还解决了推理坍缩等问题。
微软深夜发布SambaY架构,Phi-4min加速10倍推理
微软基于Phi-4-mini版本,针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型,将其扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行快10倍,有诸多优点。
传统PM假设已死!Anthropic的产品经理是怎么工作的?
文章指出在AI指数级增长时代,传统产品管理假设已不适用。以Anthropic的Claude Code为例,展示模型能力大幅提升,介绍了新的产品管理工作流程、四个根本性转变及新节奏,强调判断力的重要性。
GPT-5.4一周狂赚10亿美元ARR!一句嗨烧掉80刀,效率却飙升32倍
OpenAI总裁披露,GPT - 5.4上线一周,每天处理约5万亿token,带来10亿美元年化净新增收入。它成本和token消耗量高,但效率提升32倍。作为“大一统”模型,它智能水平出色,原生支持电脑操作。
来了,DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目,该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上,将‘冗余专家’看成带容量边的图,每批解一次线性规划,实现 token 重新路由,单节点 100µs 级求解。
当每个人都能指挥一支 AI 大军,什么能力最重要?
文章指出,在AI Agent增多的时代,管理能力是驾驭它们的关键。沃顿商学院教授提出判断是否委派任务给AI的公式,还建议从更好的指令、评估、反馈三方面提高成功率,同时给出委托任务和锻炼管理能力的方法。
十年来Python生态最好工具,引爆全社区的uv到底是什么?
uv是用Rust写的Python包和项目管理工具,被天文学家Emily L. Hunt博士赞为近十年Python生态最好的事。它功能强大,能替代多个工具,速度快,兼容性强,安装简单,还能轻松管理项目。
GPT-5.6泄露了!
GPT-5.6泄露,150万Token+神级极简UI下月上线。它在前端有质变,能生成高质量UI,上下文窗口达1.5M tokens。OpenAI采取双版本策略,6月还将迎来Anthropic、Google等模型混战,模型迭代周期也在缩短。