「Token吞吐」共找到 741 篇相关文章
不训练，解锁Agentic智能！微软：只需给LLM一台电脑
人大、MSR、清华的LLM - in - Sandbox开启「通用代理智能」新范式，把大模型放进“虚拟机”，让其在6大任务上成绩全线暴涨，零额外训练解锁“通用代理智能”，还介绍了相关实验、优化及效率情况。
“心内推理”：一种动态多模态潜在空间推理范式 | 直播预约
当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。
AI Coding 长文分享：如何真正把工具用起来，从原理到实践
本文系统分享高效使用AI编程工具的方法，涵盖底层机制、提升对话质量的方式、实际应用场景，还推荐结合AI的编码最佳实践，旨在助开发者用好AI工具。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
Anthropic官宣PTC突破，中国开发者一年前就实现了
2025年11月24日，Anthropic发布PTC特性，让Claude通过代码编排工具执行。但国产minion框架早有类似架构，不仅将此作为基础架构，还支持Python生态、状态管理等功能，在实际应用中更高效灵活。
面向高效异构训推的统一通信库DeepLink DLSlime开源
上海人工智能实验室开源异构芯片通信库 DLSlime，作为 DeepLink 核心组件，它连接多应用和传输链路。具备异构互联、多链路支持等亮点，性能优于主流方案，已在实验室多个项目验证，还助力国产 AI 工具链发展。
社区供稿 | VibeVoice实现90分钟、多角色播客生成，拓展语音合成新边界
微软亚洲研究院提出全新语音生成模型 VibeVoice，采用 next - token diffusion 机制，能将文字脚本转为最长 90 分钟、最多 4 人对话的高质量播客音频，在多方面有显著优势，未来潜力大。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
GPT 4o-mini华人领队离开OpenAI：真正推动AI进步不是模型架构，而是互联网
前OpenAI研究员Kevin Lu加入Thinking Machines Lab，该公司2025年7月获约20亿美元早期融资，估值约120亿美元。Kevin Lu曾主导GPT - 4o mini发布，他认为真正推动AI进步的是互联网，而非模型架构。