「思考token」共找到 1234 篇相关文章
深刻理解Token:大语言模型(LLM)是如何看待这世界?
文章指出在大语言模型(LLM)中,Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程,还阐述了分词对模型性能的影响,如导致模型在数学、多语言处理上表现不佳等。
AI开始替人类调用AI!token用量已是人类5.2倍
据OpenRouter统计,截至8月10日,Agent类token用量半年涨14倍,人类仅2.8倍。差距源于用法差异,虽智能体部分token计价低,但用量大仍烧钱。省钱关键在配套,且智能体任务验收缺人手。
国内首次!8.9毫秒推理速度破纪录,1元打穿百万token
在2025人工智能计算大会上,浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒,后者将推理成本降至1元/百万Token,解决了AI智能体速度与成本难题。
精打细算虾养成指南: 省 Token 和把 AI 用好,从来就是一件事
文章指出用AI时Token成本高、模型变笨,原因是上下文管理不善。介绍了省Token和用好AI的方法,如按需取上下文、明确约束、多智能体协作、按阶段切换模型等,核心是在合适时间将合适上下文装入合适模型。
9.7K Star 把 AI 编码的 token 消耗砍了 16 倍
当前AI编码工具默认读取整个项目文件,token消耗高。code-review-graph项目用Tree-sitter解析代码库成图,追踪改动“爆炸半径”,平均省8.2倍token,技术轻量,还能做社区检测。它揭示AI编码瓶颈在信息输入质量。
紫东太初推出GMC核心集剪枝方法,少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈,传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法,具双阶段架构,优势多,实验显示其能在减少Token同时保持性能。
老外傻眼!明用英文提问,DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升,海外研究者用英文提问,它却用中文思考。评论有两种观点,相关论文显示中文省token但非最有效,大模型选思考语言并非只看效率。
直播预约 | 推理模型的“过思考”现象与高效推理,2.5h的深度分享
本期GenTalk学术分享邀请刘梓辰、齐朋辉等4位博士生,在2025年6月6日15:00 - 17:30带来“推理模型的‘过思考’现象与高效推理”报告,由夏鹤明主持,NICE学术等支持。将分析‘过思考’因素,总结高效推理思路。
一个省略号提示+强化学习搞定大模型“过度思考”,中科院自动化所新方法:从强制推理到自主选择
中国科学院自动化研究所联合鹏城实验室提出AutoThink方法,用省略号提示和多阶段强化学习,让推理大模型依题目难度自主切换思考模式,解决过度思考问题,在多数据集验证有效。
省token神器3天狂揽4.1k星!19岁小哥开发,信息无损最高省87%
一款名为caveman的省Token神器在GitHub蹿红,3天揽4.1K星。它由19岁外国小哥开发,能让Agent表达更简洁,信息无损最高省87%。不过也存在争议,如节省的多为输出Token,强迫简洁或让模型变笨。