搜索：Token压缩技术

「Token压缩技术」共找到 3629 篇相关文章

小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超

浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。

X 用户“刘小排”认领月耗 5 万美元 Claude Code token。他靠 AI 年入近千万，用 AI 开发产品，还分享找需求、做产品等经验。他认为 AI 是长期机会，能放大个人能力。

X用户“刘小排”认领30天按200美元计划消耗5万美元Claude Code token一事。他靠AI年入近千万，用Claude Code做产品，回应网友质疑，称在规则内使用，还分享创业经验，认为AI是长期机会。

OpenAI Codex 技术负责人 Michael Bolin 在访谈中回顾职业轨迹，分享从工程师到工具创造者的成长经历。他认为 AI 编程时代 80%-90% 代码可由模型生成，但关键部分需人类把控，提出正确问题能力更重要，编程智能体执行将更多迁移到云端。

本文介绍上海AI Lab与上海交大团队联合提出全新预训练任务NCP，打破传统逐词预测教条，开源全球首个8.9B规模离散隐空间基座大模型，预训练Token消耗仅需一半，收敛速度提升近一倍，下游性能显著提升，公开全部训练资产供全球研究使用。

DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。

DeepSeek开源3B参数的新OCR模型，重新思考AI处理长文本方式，用视觉token压缩文本信息。核心组件有DeepEncoder和DeepSeek3B - MoE解码器，实验效果好，成本降低，还解决了一些算法和工程问题。

阿里云与北大合作，由CTO周靖人带队的研究提出GPU池化系统Aegaeon，亮相顶会SOSP。它用token级自动扩缩容技术，将GPU使用量从1192个减到213个，提升了资源利用率，还在百炼平台测试成功。

随着大模型规模扩展，思维链（CoT）成处理复杂推理任务标准范式，但显式CoT依赖长序列生成，隐式CoT面临优化挑战。腾讯提出RoT新框架，利用视觉编码器将文本推理步骤转为视觉嵌入，实现Token压缩与推理加速，且过程可分析。

面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。