「分布式扩展」共找到 509 篇相关文章
NeurIPS 2025 Spotlight | PhysX-3D:面向真实物理世界的3D资产生成范式
论文由南洋理工大学 - 商汤联合研究中心 S - Lab 及上海人工智能实验室合作完成,提出首个系统性标注的物理基础 3D 数据集 PhysXNet 及扩展版 PhysXNet - XL,还提出 3D 生成框架 PhysXGen,实现从图像到真实 3D 资产的生成。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点?
该论文提出强化学习场景下的启发式数据合成流程(SwS),利用模型自我感知弱点驱动自动化问题生成,弥补推理缺陷。对其扩展后适应性更广,在多基准测试集和模型上验证有效,性能提升显著。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
不止Deep,更要Wide:清华、无问芯穹发布多智能体系统WideSeek-R1,4B模型比肩671B模型!
清华与无问芯穹的RLinf团队提出「广度扩展」,发布多智能体系统WideSeek-R1。它采用「Lead-agent-Subagent」框架,经MARL端到端训练,4B模型在广度搜索任务表现比肩671B模型,且在标准QA任务也出色。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。
微软副总裁X上「开课」,连更关于RL的一切,LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」,分享人工智能教育帖子,从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论,分布式强化学习系统构建,RL 用于后训练 LLM 等,还介绍单步强化学习与策略梯度及相关技巧。
“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱
Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出,当前 AI token 市场不透明,模型公司或失控。如买 token 像买成分不明商品,模型训练目标不明,且 Agent 行为边界在扩展,问责制缺失。
智谱 GLM-4.5 团队深夜爆料:上下文要扩、小模型在路上,还承诺尽快发新模型!
今日凌晨,GLM系列模型四位研发成员在Reddit的AMA活动中,回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点,还承诺尽快发新模型,也探讨了大模型发展观点。
免费开源、可本地部署的AI私人助理Clawdbot,保姆级搭建教程来了
本文提供免费开源、可本地部署的AI私人助理Clawdbot的搭建教程。它能在多平台运行、连接工具和技能。教程涵盖创建虚拟机、安装Node.js和Clawdbot、设置连接等步骤,还介绍技能扩展和VPS运行方案。
AI 设计9个月就能媲美Blackwell?OpenAI “辣芯”绕开英伟达正面战场,但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño,性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署,是多代芯片开发首步。它专为大模型推理设计,设计周期短,成本低,OpenAI 借此扩展全栈能力。