「计算架构」共找到 2375 篇相关文章
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
苹果掀桌！扔掉AlphaFold核心模块，开启蛋白折叠「生成式AI」时代
蛋白质折叠是计算生物学核心难题，SimpleFold作为首个仅基于通用Transformer模块的蛋白折叠模型，摒弃AlphaFold2系列传统架构，能将蛋白序列生成三维原子结构，在多基准测试表现强劲，还可生成结构集合。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
普林斯顿大学等Nature揭秘：人类大脑与大语言模型共享同一套语言处理时钟
普林斯顿大学等机构研究发现，大语言模型层级计算序列精确映射人类大脑处理语言的毫秒级时间动态，其与人类大脑理解语言的先后顺序高度一致，为理解大脑和开发神经网络架构开辟途径。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
揭秘超节点，AI算力需要“统一的语言”
AI大模型热潮带动算力行业发展，中国AI芯片崛起，但单颗芯片算力不足、不同设备沟通有障碍成行业难题。华为发布“超节点”架构与“灵衢”技术，搞出“算力普通话”，目标是让算力系统更高效、灵活、省钱。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
阿里AI 重磅第4发：电影级MOE 视频模型Wan2.2正式开源！
阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。