搜索：Token压缩技术

「Token压缩技术」共找到 3511 篇相关文章

AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉

大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。

Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准，用经济价值衡量模型。它含400道高难题目，覆盖多领域。目前最强模型能产出约50万美元价值，但离可交付专业任务还有距离。

近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。

当下AI代码审查工具引发热议，虽宣称提效300%，但实际表现存争议。InfoQ采访硅心科技专家，探讨其利弊、核心能力、不同工具差异等，还提及应对问题的策略及未来审查流程演变等内容。

Andrej Karpathy 在旧金山 AI 创业学校演讲，指出 AI 开启软件 3.0 时代，自然语言成编程接口。软件经历 1.0 代码、2.0 神经网络权重，现进入 3.0 用提示词编程大模型阶段，还探讨大模型特性、应用及相关问题。

Ponytail是开源插件，将资深工程师工程直觉整理成skill规则，供Claude Code等AI coding agent加载。它让AI开发更克制，减少代码量、成本，提升速度，核心是强制AI做复杂度判断。

星海图CEO高继扬等提出具身智能三重跃迁，发布新模型并开源，首秀自研机器人。公司从整机起步，联合建数据公司，规划数据量。其商业模式分三阶段，认为中国具身基础模型能力有望超美。

美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。