「并行扩散架构」共找到 2219 篇相关文章
360安全云架构全解,AI智能体如何开启「主驾」新时代?
AI发展加速,网络安全危机加剧。360安全云在ISC.AI 2025大会发布新产品,提出“安全即服务”理念,打造AI驱动的四层架构,发布三大类智能体,为企业提供全生命周期价值交付的安全服务。
线性注意力回归!Kimi新模型引爆,MiniMax却悄悄换回传统架构
LLM领域线性注意力机制正在回归,工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可,今年下半年多个国产模型采用其变体,MiniMax却又换回传统架构,Kimi新模型带来新解法。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
其实,扩散语言模型在最终解码之前很久,就已确定最终答案
随着扩散语言模型(DLM)发展,它成自回归(AR)模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象,提出 Prophet 策略,实验显示其能在保持高质量生成时显著加速推理。
个人开发者训400亿参数大模型:分布式算力,DeepSeek架构,3090单卡部署
Nous Research推出Psyche Network,可整合全球算力训练AI。它基于Deepseek的V3 MLA架构,有DisTrO优化器等技术,能让个人和小团体创建大规模模型,还实现40B参数LLM预训练。
当代码遇上大模型:智能编程助手的架构设计与工程实践
在 InfoQ 举办的 QCon 全球软件开发大会上,字节跳动段潇涵介绍如何基于大语言模型构建智能编程助手。他分享实践经验,剖析研发痛点,介绍技术架构,还探讨未来发展方向,如认知增强、工具整合等。
dLLM的「Free Lunch」!浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来,扩散大语言模型(dLLM)成为文本生成新势力,生成效率高。但现有解码策略忽视中间迭代信息,研究团队观察到「先对后错」现象,提出 TCV 和 TCR 方法,显著提升模型在推理任务表现。
浙大提出Translution:统一Self-attention和Convolution,ViT、GPT架构迎来新一轮性能突破
近日,浙大与新加坡国立大学提出新型深度神经网络基础操作Translution,融合Self - Attention与Convolution优势,实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升,但对算力要求更高。
一键开关灯!谷歌用扩散模型,将电影级光影控制玩到极致
Google推出LightLab项目,可从单张图像精准控制光影,解决传统光影控制难题。其通过特殊数据集微调扩散模型,让模型学会控制光照,还介绍了方法、后处理流程等,实验显示表现优,有多种应用。
你要做旁观者,还是定义者?中关村两院全球寻找「AI时代架构师」
中关村两院(北京中关村学院与中关村人工智能研究院)一体两院、融合发展,现全球招募AI时代架构师,包括领军人才、青年科学家、应届博士/博后等,介绍了招聘方向及优厚待遇,还将召开人才闭门交流会。