「推理优化技术」共找到 5322 篇相关文章
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
「上下文工程」 已经30岁了，而你可能刚知道它
上海创智学院刘鹏飞老师团队提出上下文工程2.0，剖析其本质、历史与未来。上下文工程已发展30年，是熵减少过程，旨在弥合人机认知鸿沟。其历史呈收敛曲线，每次技术突破引发三重连锁反应，当前人类正处通向3.0转折点。
云栖大会阿里掀桌子了！Qwen3-Max、VL、Omini、Agent ... 统统发布！
云栖大会上，阿里云智能首席技术官介绍千问多款新模型发布及一款升级。如万亿参数的Qwen3 - Max，代码和Agent能力强；还有Qwen3 - Coder - Plus、Qwen3 - VL、Qwen3 - Omni、Qwen3 - LiveTranslate等模型各有亮点。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日，腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行，适用于低功耗场景。模型具备推理快、性价比高特点，亮点是Agent和长文能力，已在腾讯多业务应用。
基于OpenAPI和AI coding的上云智能体构建实践
文章介绍基于OpenAPI和AI coding构建上云智能体的实践。分析不同编程范式，结合AI coding发展与Multi - Agent问题，阐述构建方案，包括业务场景、构建方法、技术实现、当前效果及后续展望，还提及文档智能与RAG构建LLM知识库。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
当AI从云端“下沉”，Arm如何赋能端侧
端侧AI发展近十年，已进入应用快速拓展期，成为推动消费电子革新重要力量，但面临视觉处理、内存平衡和应用迭代等挑战。Arm推出相关平台与技术，如SME2，提升AI性能与能效，还与厂商合作，持续创新赋能端侧。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。