「精细化Token管理」共找到 1205 篇相关文章
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
一边秀肌肉，一边设围墙，NVIDIA 发布 OmniVinci，性能碾压 Qwen2.5-Omni，却被骂“假开源”
NVIDIA 推出多模态大模型 OmniVinci，结合架构创新与合成数据流水线，训练 token 仅为 Qwen2.5 - Omni 的六分之一，却在多项基准测试表现更佳。但采用限制商业用途的许可证，引发“假开源”争议。
4倍速吊打Cursor新模型！英伟达数千GB200堆出的SWE-1.5，圆了Devin的梦！实测被曝性能“滑铁卢”？
Cognition推出全新AI编码模型SWE-1.5，专为软件工程任务设计，运行速度快，在基准测试中成绩良好。它基于GB200芯片训练，有定制编码环境，开发有新战略，还与Cursor新模型Composer对比引发关注。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
Meta AI部门大地震！小扎急派心腹干将「救火」
Meta AI部门再现人事大地震，前元宇宙负责人Vishal Shah转岗任人工智能产品副总裁，协助Nat Friedman整合AI产品战略。此次调整与Friedman近期管理表现相关，Shah经验丰富或助Meta AI更稳健发展。
AI编程学习：Chrome DevTools MCP 到底有多强？
作者体验了Google新出的Chrome DevTools MCP，它在小红书自动发帖、YouTube智能观看等场景表现出色。与Playwright对比，其Token消耗低、报错处理稳。还揭示设计思路差异，给出上车指南。
OpenAI官方揭秘：我们这样用Codex写代码「7大核心用法、6条最佳实践首次公开」
本文基于对OpenAI工程师访谈和内部数据，汇编了Codex的7大核心用法，如代码理解、重构与迁移等，还给出6条最佳实践，展示其如何助力团队高效工作、提升质量及管理复杂性。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
吴恩达来信：智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升，但耗时久。随着LLM每个token价格下降，更多智能体工作流被并行化，且相关研究增多。
90%打工人「自费买AI上班」，开启To P革命！每月花20刀效率翻倍
面对AI淘汰焦虑，大量职场人主动自费买AI工具，开启「自我拯救」运动，催生出To P新赛道。文章分析其发展快的原因，也提及To B和To C赛道后续发展的条件。