「并行输出」共找到 552 篇相关文章
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
蚂蚁百灵新一代Ling-3.0开源，智效比13.2，124B释放1T能力
蚂蚁百灵新一代模型Ling-3.0开源，有flash和tiny两版本。Ling-3.0-flash参数量124B，智效比13.2，输出快成本低；Ling-3.0-tiny参数量7.9B，激活少且适用多场景，二者都极致挖掘模型效率。
理解Ray Data分布式数据处理原理-源码分析
Ray Data是构建于Ray之上的分布式数据处理库，提供高性能且可扩展的API，可用于AI场景。文章从源码入手，分析其流式执行原理，包括读取数据源、构建数据处理、输出数据等环节，还介绍了LogicalPlan转PhysicalPlan及流式执行过程。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
从 Langchain 到 Spring AI，我们究竟需要怎么样一个企业级 AI 开发基础设施？
文章指出AI Agent应用开发方式演变快，企业构建AI Agent体系面临挑战。介绍了AI Agent应用架构变化及趋势，如AI应用平台低代码效应、框架与平台双轨并行等，还总结了四类AI Agent框架及企业级框架平台核心考量。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
DeepSeek 为什么把缓存涨了 11 倍？长上下文需求暴涨，得交点「存储税」了
8月17日，DeepSeek V4 Pro API输入和输出价格上涨，空闲时段缓存命中价涨5倍，高峰时涨11倍。此前其因高缓存命中率成性价比之选，但长上下文需求爆发致后端“缓存颠簸”，只能通过涨价收“存储税”。开发者可提高缓存命中率应对。
去了一趟中国AI实验室，Linux基金会CTO感叹：西方那两套偏见全破产了
Linux 基金会全球 AI 技术官 Matt White 访华后称，西方对中国 AI 的偏见破产。中国实验室文化黏性强、人才回流，工具反向输出美国。他指出西方出口管制未卡死中国，还让其成自研芯片‘卷王’，开源模型也更受青睐。
Claude有意识了？科学家首次挖出关键拼图，还能伸手改它的念头
本文报道Anthropic最新研究，团队在Claude大模型中发现自发形成的J-space区域，匹配意识研究的全局工作空间理论，人类可直接读取、修改AI未输出的内部想法，揭示了现有AI对齐评测的重大漏洞，为AI意识研究提供了工程化路径。