「Token向量化」共找到 1436 篇相关文章
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
AMS | 西工大向锦鹏、宋述芳等：一种用于伴随方程求解的物理约束图神经网络
伴随方法用于高维优化问题，但求解伴随方程代价大。本文提出物理约束图神经网络(ADJ - PCGN)，构建流场解与伴随向量映射模型，有精度和泛化性，能加速优化，方便嫁接求解器。
28岁华人执掌1.85万亿科技巨头AI大权！一觉醒来，图灵奖得主也要向他汇报
Meta超级智能实验室一拆四，28岁华人Alexandr Wang出任负责人获扎克伯格力挺。内部信强调‘超级智能即将到来’，宣布实验室拆分，AGI Foundations团队解散成员分流，Yann LeCun地位降级。
一百万亿Token里的AI现状：OpenRouter和a16z重磅研究带你透视AI江湖
OpenRouter和a16z发布重磅研究，用100万亿Token绘制AI实景地图。2025年推理模型崛起，开源模型流量份额攀升，编程与角色扮演需求大，还揭示了用户留存的“灰姑娘效应”等，展现多元AI世界。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
AI 领域新动向！持续思考模型CTM横空出世：AI 向生物智能迈出重要一步
Sakana AI 推出新型 AI 模型 CTM，重新引入「时间」和「神经元动态」到 AI 计算核心。它有诸多创新，在迷宫探索、图像识别等任务表现出色，虽有训练慢等不足，但为 AI 向生物智能迈进提供新思路。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记，解释接口和约束、kernel 关键路径等问题，还介绍 NVFP4 和 MX-Formats 量化原理、代码实现，以及 LightX2V 项目中的实际使用。
AI 提效了，老板觉得自己又行了：可代码行数和 Token 排名，真该拿来裁人吗？
文章探讨AI提效下的行业现状。开发者节奏加快，企业收紧人力。不同行业提效有别，互联网显著，金融审慎。还谈及效率悖论、裁员依据、生产力衡量及成本管控，指出提效应用于承接项目而非裁员。
想知道你的LLM API被过度收费了吗？隐藏的Tokens终于可以被审计了
马里兰大学CASE Lab团队研究商业不透明大模型服务（COLS），定义其风险，提出三层审计蓝图。还推出验证框架CoIn，能高效识别token数量膨胀，有可定制性且审计开销低，为构建信任提供技术支撑。
智能体请求暴增 9.4 倍，token 账单却没涨：Uber 公开 AI 软件工厂省钱方法
AI 工具已嵌入 Uber 软件开发各阶段，智能体请求量增长 9.4 倍，但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考，包括智能体会话层级、成本公式、指标测算及优化手段，还提及未来举措。