上下文token」共找到 1204 篇相关文章

新闻资讯7

米哈游一夜烧掉200万元Token,大厂高管也开始质疑:Token烧不出价值,但养肥了谁?

Uber运营负责人质疑AI tokenmaxxing成本合理性,米哈游员工一晚烧200万Token。部分公司开始调整,如多邻国取消AI使用绩效评估,Shopify阻止失控消耗。Tokenmaxxing让模型厂商、编程工具和算力相关方受益,盲目跟风企业或成输家。

AI前线
推荐文章8

Agent下半场!比Prompt更重要的是「上下文工程」,Anthropic首次系统阐述

Anthropic发文章阐述上下文工程,指出构建语言模型重点正从提示工程转向上下文工程,探讨了其与提示工程区别、重要性,给出实践指导原则、新趋势及应对长时程任务策略。

AI寒武纪
推荐文章8

超长 Agent 任务如何不崩盘:Claude Code 上下文管理机制深度拆解。

文章深度拆解Claude Code上下文管理机制,包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统,还为长任务Agent开发者提供了管理启示。

AI大模型应用实践
算法论文8

ICML 2026 | 只用少量Thinking Tokens,大模型依然能深度思考

近年来,CoT 推理成为提升大模型复杂问题求解能力的重要路径,但带来效率问题。浙江大学等团队提出 Heima 框架,将冗长 CoT 压缩为少量 thinking tokens,在减少 token 数的同时保留推理能力,已被 ICML 2026 接收。

机器之心
推荐文章7

《动手写AI Agent》上下文工程:比 Prompt Engineering 更重要的事

文章围绕AI Agent的上下文工程展开,指出其比Prompt Engineering更重要。介绍了上下文工程的分层组织,包括角色定义、通用规则、项目状态和用户指令,还提及项目感知、.ling.md文件及完整System Prompt的组装。

AI Reading Hub
新闻资讯8

英伟达改卖Token?黄仁勋GTC后发声:token就是AI新通货,值钱的不是算力,是“每度电的智商”

英伟达黄仁勋在采访中强调其是加速计算公司,非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出,token 是新通货,还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。

AI前线
算法论文8

长程 Agent 越跑越乱?ContextPilot 用细粒度 RL 教会模型主动管理上下文

长程 Agent 推理时,传统方法使上下文臃肿、推理成本高。清华、腾讯等团队提出 ContextPilot 框架,扩展管理工具集、采用新采样和信用分配方法。实验显示其用短上下文获高分,降低推理开销。

深度学习自然语言处理
推荐文章7

重新思考 AI TCO:为何每 Token 成本才是唯一重要的指标

在生成式与代理式AI时代,传统数据中心转变为AI Token工厂,企业评估AI基础设施时不应只关注算力成本、每美元FLOPS,而应重视每Token成本,它决定AI规模化盈利,NVIDIA在该指标上表现出色。

AI前线
开源动态8

腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s

腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法,通过PD分离、多层MTP优化等全栈优化方法论,还介绍多机性能优化方案,后续预计性能突破20000 tokens/s。

腾讯技术工程
新闻资讯7

谷歌月Tokens消耗量领跑全球了:1300000000000000(别数了是千万亿)

谷歌月处理Tokens用量达1.3千万亿,较一年前的9.7万亿大幅增长。横向对比,谷歌在该指标上远超微软等大厂。Tokens消耗量可衡量模型多方面能力,谷歌为行业树立新标杆。

量子位