「并行优化」共找到 1411 篇相关文章
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
AI4S设计的新抗生素通过湿实验！双层思考+多目标优化，主动发现「代谢不稳」并加约束
SAGA是新AI，采用双层思考机制，能主动审视需求、优化目标函数。在抗生素、纳米抗体等5大领域湿实验中表现出色，结果获科学家肯定，相关代码已开源。
OpenAI自研芯片内幕曝光！18个月前开始用AI优化芯片设计，比人类工程师更快
OpenAI与博通官宣合作，将共同部署10GW规模AI加速器。双方头头齐聚爆料合作契机与细节，OpenAI总裁称已用AI优化芯片设计，比人类工程师更快，且合作已持续约18个月。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
CNSNS｜西工大曹文博、张伟伟：克服优化求解器中的损失条件数瓶颈：一种良性损失函数
基于优化的偏微分方程求解方法受关注，但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈，指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR，在收敛速度与稳定性间建立平衡，实验验证其有效性。
Cursor 2.0 来了！自研模型 Composer1，更禅的界面，多代理并行，Browser调试更强大
Cursor 2.0 发布，有诸多升级。它有自研编码模型 Composer1，速度快且适合 Agent 模式；界面更清爽禅意；支持多代理并行，能提升编码效率；浏览器可嵌入编辑器，沙盒终端在 macOS 正式发布等。
每天审200个PR、每月3000个Issue？智能体开始并行写代码，人类可能成最薄弱环节
本文是对微软 VS Code 团队工程经理 Kai Maetzel 的访谈。他回顾了 VS Code 发展历程，分享 AI 编程、智能体开发及开发者工具设计的实践思考，如 AI 补全体验优化、智能体开发权衡、与 IDE 交互机制等，还探讨了未来发展挑战与趋势。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。