「token使用量」共找到 2398 篇相关文章
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
免费使用！OpenAI发布ChatGPT记忆功能，秒变私人助理
今日凌晨，OpenAI联合创始人Sam Altamn宣布为免费版ChatGPT提供轻量级记忆功能，未来还会改进。该功能可根据用户对话习惯等个性化回答，对多领域帮助大，文中还介绍了其使用方法及常见问答。
低Token高精度！字节复旦推出自适应推理框架CAR
字节与复旦大学研究人员提出自适应推理框架CAR，能根据模型困惑度动态选短答或长推，在多基准测试中平衡了准确性与效率，打破长文本推理必然性能更好的认知。
MiniMax ARR暴涨500%，token暴涨2000%！这就是Agent红利吧
MiniMax最新数据显示，今年8月ARR超8亿美元，较2月增长约5.3倍。2026年上半年收入同比涨283.1%，B端收入占比升至80%。其增长得益于用户增多和用法改变，M3、H3模型表现出色。
iPhone本地跑Gemma 4火了，0 token时代还有多远？
谷歌开源新模型Gemma 4，部分小型号可在手机端本地运行，速度惊人，还有128k上下文窗口。但在处理复杂任务时表现欠佳。未来端侧模型有望蚕食云端高频简单任务，将冲击现有AI商业模式。
重磅！iPhone 端侧可部署 Gemma 4 了！完全零token消耗！
PhoneClaw 是运行在 iPhone 的本地 AI Agent，可离线运行 Google Gemma 4。它支持多模态，有隐私保障和灵活模型管理。文中介绍使用方法、自定义 Skill 方式、常见问题，还提及后续扩展计划。
OpenAI 开发者的 Skill 经验：如何使用评估系统来优化 Skill
文章聚焦 OpenAI 开发者优化 Skill 的方法，指出迭代 AI 技能效果难测，可借助评估系统。介绍了用 Codex 评估的流程，包括明确标准、创建技能、手动触发找漏洞等，还提及不同阶段的评估重点和工具。
钉钉DeepResearch, 0.008元/1k Token击穿地板价
阿里为7.5亿钉钉用户推出Dingtalk - DeepResearch，解决企业办公AI化痛点。系统采用“三横一纵”架构，有多阶段强化学习等三种解法及DingAutoEvaluator纵向飞轮，实现模型自进化、自纠错。
拜拜了GUI！中科院团队“LLM友好”计算机使用接口来了
中科院软件所团队研究指出，现有LLM智能体成功率低、效率差的瓶颈在于GUI。其设计与LLM能力错配，团队提出声明式接口GOI，实现策略 - 机制分离，经测试性能提升显著。
Anthropic 新研究：人们如何使用 Claude 寻求支持、建议和陪伴
Anthropic研究聚焦人们用Claude满足情感需求的情况。发现情感化对话仅占2.9%，人们借此解决现实、情感等问题，对话结束时情绪更积极。但研究有局限，未来需应对诸多挑战。