「token分配」共找到 744 篇相关文章
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
把 RAG 做成主流的公司，现在开始“做空”RAG 了
向量数据库开创者 Pinecone 宣布 RAG 时代结束，推出面向 Agent 的知识引擎 Nexus。它认为当前 RAG 模式脆弱、缓慢且昂贵，提出“知识编译”概念，称能提升任务完成率、降低 token 开销，虽面临质疑，但方向明显。
【开源】Multica：让 AI Agent 成为真正的团队成员
Multica 是开源的 Managed Agents 平台，能统一分配任务、跟踪进度、积累经验。它把 AI Agent 当团队成员管理，有5个关键能力，兼容8种主流 Agent，支持自部署，5分钟可上手，但生态尚处早期。
两小时激辩：黄仁勋为什么不怕 TPU、不怕华为、不怕出口管制？
黄仁勋接受长达两小时专访，谈及Nvidia使命、经营哲学等多方面。他认为能源政策制约未来，CUDA优势在于生态等，还谈了对TPU、出口管制等看法，不过其观点存在矛盾待检验。
阿里云飞天企业版X平头哥“真武”芯片，推理性能跃迁13倍，底层逻辑是什么？| Q推荐
过去几年，模型虽强但使用成本高，阻碍企业级AI深度应用。今年‘模型推理’成AI关键词，4月13日19:00，InfoQ联合阿里云邀专家围绕推理加速底层破局展开对话，探讨算力博弈、芯片性能跃迁等问题。
Claude Code一周份额，一天就烧完一半？有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发，如思考深度大幅下降，还存在7个叠加的bug，浪费用户token配额。开发者给出应对建议，新版本增加账单透明度和缓存过期提醒，该工具正面临信任危机。
桌面版Codex的好日子，OpenAI两年前的宫斗剧内幕被曝光，并非路线之争！
在OpenAI发布桌面版Codex时，微软CTO内部邮件曝光2023年11月OpenAI政变内幕。冲突核心是资源争夺和个人地位之争，包括GPU资源分配矛盾、Ilya与Sam个人矛盾，还暴露出董事会运营经验不足等问题。
AI不会自动带来好结果
马斯克称未来劳动力成本趋近零，人人高收入、工作成爱好。但AI是存量优化，不创造新岗位。其观点有致命漏洞，如生产红利分配不公、高收入资金来源不明、忽略工作社会意义等。
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。