「AI Token」共找到 9985 篇相关文章
缓存不该困在一台服务器里
本文分析大模型推理阶段KV缓存的行业痛点，指出传统单机缓存孤立无法跨节点复用的问题，介绍焱融科技的分层共享缓存方案，公开了方案的实测性能数据，展现AI存储的新发展方向。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
开源模型两个月内杀死比赛
过去60天，Vercel AI Gateway调用数据显示，开源模型Token调用份额从28%涨至62%，反超闭源模型。英伟达60亿美元入局扶持，闭源虽推新降价仍失领先，开源走向大规模应用。
ICML 2025 | 如何在合成文本数据时避免模型崩溃？
随着生成式AI发展，合成数据成大模型训练重要部分，但可能引发“模型崩溃”。ICML 2025会议上，上交大等团队剖析此问题，提出Token - Level Editing策略，避免模型崩溃，实验验证了其有效性。
Glyph：文本转图片解决长上下文困境，智谱把“DeepSeek-OCR”具像化了
传统 token 扩展方式遇算力成本天花板，DeepSeek 与智谱都想到让 AI“看”文字思路。智谱发布 Glyph 框架工程化实现此思路，将文本转图片处理，降低计算成本，有不错效果但也存在排版敏感等限制。
DeepSeek开源的不仅仅是个新OCR模型。。。
DeepSeek开源3B参数的新OCR模型，重新思考AI处理长文本方式，用视觉token压缩文本信息。核心组件有DeepEncoder和DeepSeek3B - MoE解码器，实验效果好，成本降低，还解决了一些算法和工程问题。
这个项目专治建模手残党，给张图就能转变可编辑能转动的3D模型
img2threejs上线11天获4.8k Star，专治建模手残党。给它一张图，它让AI写代码把物体“搭”出来，不重建几何，也不下素材包，还省Token、零依赖，有严格质量门控。
又一安全圈爆火的开源项目，已经1.66万Star！
现在大家爱用代码AI客户端干活，但碰到安全和逆向任务时，AI易懵圈，因工具散落、经验没沉淀。开源项目`reverse-skill`可给AI装“安全研究导航仪”，支持多种AI编码客户端，有诸多功能特性。
把 RAG 做成主流的公司，现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式，如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus，提出“知识编译”概念，称能提高任务完成率、降低 token 开销，整个 AI 世界都在将“推理”往上游移动。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。