「Token - Aware Editing」共找到 680 篇相关文章
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
手机跑多模态也能快到飞起！面壁MiniCPM-V 4.6开源
面壁智能开源多模态模型MiniCPM-V 4.6，以低算力成本、超低首Token延迟打通三大主流手机操作系统。它算力瘦身性能强，是视觉语言多面手，还适配主流系统，降本增效，让AI能力从云端到指尖。
OpenClaw 背后核心框架 Pi：好的 Coding Agent 应该让用户来决定需要什么
OpenClaw 背后核心框架 Pi 是极简框架，系统提示词和工具定义不到 1000 tokens。开发者 Mario 认为好的 coding agent 应让用户决定需求。Pi 不支持 MCP 等，在 Terminal Bench 2.0 排名靠前，GitHub 星数超 24000。
Agent Team 实践与架构设计：在约束下构建可演进的一个人开发团队
作者结合构建的Routa，探讨在Token、流程、工具选择等约束下构建可演进的多Agent系统。介绍了Routa架构、原则，如跨Agent通信、状态外置等，还阐述了各设计要点及示例，强调系统可演进性。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
Claude Skills彻底火了，真的比 MCP 简单太多了。
Claude Skills在中文社区火了，它解决重复写提示词、token贵及定制难的痛点，可分层加载给上下文窗口减负。它能与MCP组合，官方开源20多个Skill源码，还代表了Agent能力模块化趋势。
不改模型也能提升推理性能？ICLR投稿提出测试时扩展新范式OTV
ICLR 2026投稿论文提出单token验证（OTV），是测试时扩展新机制，让模型能边推理边判断正误。它基于并行思考思路，借助轻量内部验证器分析推理过程，实验显示其性能优于主流方法。
为 OpenAI 秘密提供模型测试， OpenRouter 给 LLMs 做了套“网关系统”
OpenRouter成立于2023年初，为用户提供统一API Key调用各类模型，OpenAI会用其秘密测试。平台token用量高速增长，还发布模型用量排行榜引关注。创始人认为大模型非赢家通吃，未来想成agent最佳推理层。
面壁小钢炮 VoxCPM-TTS：开源端到端 TTS，轻量高效低延迟
面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。