并行加速」共找到 824 篇相关文章

产品应用8

PD 分离推理的加速大招,百度智能云网络基础设施和通信组件的优化实践

为适应PD分离式推理部署架构,百度智能云从物理网络、网络流量、通信组件和算子层面优化,提升上层推理服务性能,展现了网络、组件与业务特征融合的重要性。

InfoQ
开源动态8

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。

GiantPandaLLM
新闻资讯8

从傅盛的龙虾到汗青的加速主义,AIFUT大会Day1下午场总结都在这了。

AIFUT大会第一天下午场信息密度大。傅盛称龙虾是工具的AGI时刻;特效小哥008认为AI不替代人类但可能替代工作;辩论探讨教用AI能否教会;朱广翔说程序员岗位将减少,泛创造者会增加;李继刚指出人不可压缩的只剩体验;赵汗青探讨慢的东西如何存活。

数字生命卡兹克
推荐文章8

陶哲轩长文剖析现代社会:大型组织挤压小型社群,个体陷入疏离困境,AI正在加速这一进程

陶哲轩长文以协作式数学项目社群现象为切入点,提出观察现代社会的框架。指出现代技术和激励体系在赋能个体与大型组织时,严重削弱小型组织,导致个体精神上出现脱节感,AI还在加剧这一问题,并给出新兴草根组织视角。

AI寒武纪
算法论文8

告别微调时代:拖拽式LLMs实现12000倍加速适配,输入描述,秒级定制LLM,效果、速度全面超越

传统高效微调技术成大规模部署瓶颈,论文提出Drag-and-Drop LLMs (DnD),仅需输入目标任务未标注提示,即可秒级生成适配的LoRA权重,实现LLM秒级免训练适配,效率、性能和泛化性上均有突破。

深度学习自然语言处理
算法论文8

AI for Science开年新突破:中科大实现多尺度结构逆向设计128倍加速,登上Nature子刊

中国科学技术大学联合多所院校,在多功能双连通多尺度结构逆向设计领域取得突破,成果发表于Nature Communications。研究解决核心瓶颈,提供新范式,在多方面展现优势与潜力。

机器之心
算法论文8

统一视觉多模态与多任务!快手可灵与港科大团队发布视频生成模型,加速真实世界理解

港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo,统一训练多种视觉模态,让模型更懂物理规律,视频生成更真实可控,还实现零样本泛化,在多任务表现优异。

量子位
开源动态8

具身智能大脑+首个SaaS开源框架,智源研究院刷新10项测评基准,加速群体智能新范式

智源研究院推出通用具身大脑RoboBrain 2.0与全球首个具身智能SaaS开源框架RoboOS 2.0并全部开源。前者突破主流AI模型瓶颈,后者实现大脑云端优化与小脑技能免适配注册,降低开发门槛。

量子位
开源动态8

告别VAE压缩损耗,南京大学用DiP让扩散模型回归像素空间,实现10倍加速与SOTA级画质

南京大学、腾讯优图实验室和新加坡国立大学发布DiP框架,即将开源。该框架不依赖VAE,仅增0.3%参数量,推理提效10倍,在ImageNet获1.79的FID分数,解决扩散模型在像素空间难兼顾质效的问题。

AIGC开放社区
算法论文8

训练提速4.6倍!FP4+BF16双轨并行,NVIDIA×港大×MIT联手重新定义扩散模型训练速度上限

NVIDIA、港大、MIT团队提出Sol - RL,采用「FP4先探索、BF16再训练」框架,将扩散模型训练收敛速度最高提至4.64x,在速度与对齐效果间给出工程可行解法。

机器之心