搜索：精细化Token管理

「精细化Token管理」共找到 1205 篇相关文章

FlashInfer集成TensorRT-LLM cubin kernel技术分析

文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。

xAI联创杨格因长期高强度工作患莱姆病离职。此前已有多位核心成员离开。马斯克强调速度的管理风格使员工压力大，其公司高管更迭率高，不过也有人认为这能筛选出能力强的成员。

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

Google在NeurlPS2025大会推出结合RNN与Transformer的全新架构Titans，能扩展到超200万个token上下文。背后涉及Titans和MIRAS两篇论文，共同推进测试时记忆概念，实验显示新架构性能出色。

Memvid将文本数据编码为视频，改变AI记忆管理，实现百万级文本块闪电语义搜索和亚秒级检索。它存储高效、轻量级、可离线，应用场景广，还给出安装、使用、配置等说明，并与传统方案对比。

文章围绕Skill开发展开，介绍其定义、安装使用、创建、管理等内容，指出Skill替代重复任务，无法替代体验和判断。还分析Skill生态早期痛点，如跨平台一致性等，并推荐一站式Skill开发助手skill - dev - aio。

砸724亿美金后，微软用大重组承认Copilot「走弯路」。此前Copilot用户体验割裂，用户向竞品流失。纳德拉开出药方，统一管理，老将退场。苏莱曼转战自研大模型，微软欲让Copilot成一体化系统。

Anthropic的Claude Sonnet 5即将发布，已存在于谷歌基础设施中，性能领先谷歌‘Snow Bunny’一代。它价格比Opus 4.5便宜50%，有100万token上下文窗口，SWE - Bench成绩超80.9%，还有自动开发团队模型。

Anthropic工程师发博客‘背刺’自家MCP，提出新方案让token消耗大减。新方案把MCP服务器转成代码文件运行，Skills或成MCP替代品，虽MCP还有价值场景，但多数情况下代码+Skills更优。

传统 token 扩展方式遇算力成本天花板，DeepSeek 与智谱都想到让 AI“看”文字思路。智谱发布 Glyph 框架工程化实现此思路，将文本转图片处理，降低计算成本，有不错效果但也存在排版敏感等限制。