「Token优化」共找到 1836 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
Sonnet 5 翻车！同性能价差最高 56倍，海外巨头为何复刻不出 DeepSeek？
Anthropic发布Claude Sonnet 5，官方称补足了Agent能力，价格优惠，但开发者反应不佳。Sonnet 5因tokenizer换代，实际使用成本更高，且比同类模型贵。与之相比，DeepSeek V4 Pro便宜很多，其靠技术实现低价，海外厂商难以复刻。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
跑分第一，推理暴跌！Claude Opus 4.7上线48小时口碑崩了
Claude Opus 4.7发布48小时口碑两极撕裂。官方榜单并列全球第一，但逻辑推理公开测试成绩暴跌，token消耗涨35%，旧接口报错，用户吐槽「更贵、更蠢、更爱顶嘴」，Anthropic虽解释却难平用户怒火。
从拒绝AI到一切先问Agent，DHH：这是我最爽的编程时刻之一，但程序员黄金时代到头了
Ruby on Rails 作者 DHH 从拒绝 AI 到拥抱 Agent-First 编程工作流。他认为 Rails 因 token 效率或复兴，设计能力成核心竞争力，资深工程师更易从 AI 获益，程序员黄金时代或到头。他分享了使用 Agent 的体验和对行业的看法。
OCR 发生了一件反直觉的事
百度 PaddleOCR 团队的 500 万参数模型 PP - OCRv5，在文字识别准确率上可与 Qwen3 - VL、GPT - 4o 等巨无霸模型抗衡。团队挑战‘模型越大，效果越好’，认为 OCR 中数据质量比参数重要，通过实验证明并优化数据。
Datadog 如何将其 Agent 的 Go 二进制文件缩减 77%
5 年里 Datadog Agent 从 428 MiB 增至 1.22 GiB，其工程师着手缩减二进制文件大小。发现膨胀主因是隐藏依赖等，采取审计导入项等措施，借助工具优化，还减少反射和插件使用，6 个月实现缩减且未移除功能。
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
Claude 开始收“代码审核税”：一条 PR 25 美元，大厂一年或花百万，还得上交整个代码库
3月9日，Anthropic推出代码审查产品Code Review，运行在GitHub和CI流程，按token计费，每次15 - 25美元，速度约20分钟/次，用整个代码库分析。虽能发现问题，但价格贵、速度慢，还遭“既当运动员又当裁判”质疑。