「量子并行重复定理」共找到 429 篇相关文章
中国最新Agent产品趋势:多体协同,垂直赛道,行业核心业务 | 量子位智库AI 100
量子位智库2025Q3 AI100榜单中的Agent产品亮点颇多。智能体技术从单点向系统协作发展,应用落地深化至行业。如科研、投资领域的Agent发挥重要作用,部分产品流量可观,多款新发布产品入围。
Sglang 源码学习笔记(三)- 分布式和并行(以deepseek 为例)(WIP)
文章是 sglang 源码学习笔记,聚焦分布式和并行,以 deepseek 为例。介绍通信域类型,分析 ZMQ 和 torch.dist 通信,阐述 TP、DP、EP 实现,包括初始化、使用等,还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
自回归因果注意力也能并行解码?上交联合UCSD突破LLM推理瓶颈,模型代码全开源
大语言模型推理速度是应用瓶颈,传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案,无需重构架构,将AR模型转为并行解码器,提速显著且质量损失小,核心优势多,技术路线全链路优化,实测表现优。
季度AI视频生成产品:多模态输入成标配,角逐一站式生成能力 | 量子位智库AI 100
Sora2下载量破百万引发AI视频生成热潮,谷歌推出Veo3.1再掀高潮。国外大厂将其卷至电影制作级创意,国内企业追求高质量、秒级生成并落地垂直场景。量子位智库发布的产品呈现多维度技术演进。
Cursor 2.0 来了!自研模型 Composer1,更禅的界面,多代理并行,Browser调试更强大
Cursor 2.0 发布,有诸多升级。它有自研编码模型 Composer1,速度快且适合 Agent 模式;界面更清爽禅意;支持多代理并行,能提升编码效率;浏览器可嵌入编辑器,沙盒终端在 macOS 正式发布等。
8B模型可以超过GPT-4o!并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈,作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新,能让 8B 模型性能达 GPT - 4o 的 91.17%,特定任务超 GPT - 4o。
黄仁勋凌晨炸场:6G、量子计算、物理AI、机器人、自动驾驶全来了!AI芯片营收已达3.5万亿|2025GTC超全指南
美东时间10月27日英伟达GTC大会开幕,黄仁勋演讲涉及6G、量子计算等热词。官宣与诺基亚合作建6G AI平台,还投资10亿美元。此外,英伟达AI芯片订单总额达5000亿美元,股价创新高。黄仁勋还阐述AI是新计算方式。
NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’,介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节,分享其解决 AI 训练存储难题的方案。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时,同样问题换说法问,模型又要重新推理。`constraint-cache`这个Python库可解决此问题,它将语义相似查询规范化为统一缓存键,实现近乎即时的重复查询响应,还避免了随机性响应问题。