搜索：自适应并行扩展

「自适应并行扩展」共找到 763 篇相关文章

CMU朱俊彦等上新LEGOGPT，一句话就能搭乐高，网友：复杂零件行不行？

近日，CMU助理教授朱俊彦团队带来基于文本生成3D乐高的大模型LEGOGPT，输入文本即可快速拼好乐高，生成的乐高还有纹理和颜色。研究人员让机器臂组装模型，结果完美。该模型仍有局限，团队正努力扩展能力。

BIGAI与中科大等团队提出MILR，通过测试时隐空间推理，在不更新模型参数下优化图文表示，提升复杂图像生成能力。该方法在多基准测试达SOTA，还探讨了测试时扩展与奖励模型，未来有诸多拓展方向。

自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。

文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷，将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环，实现上下文低成本、低延迟、高扩展演化，小模型搭配它能击败大模型+传统提示。

如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。

文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。

现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。

斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。

LeCun于11月11日提交最新论文《LeJEPA：无需启发式的可证明且可扩展的自监督学习》，当天其离职Meta消息曝光。论文提出LeJEPA自监督学习方法，解决表示崩溃问题，还回顾了JEPA架构发展，虽毁誉参半，但LeCun将继续推进世界模型工作。

Ray Data是构建于Ray之上的分布式数据处理库，提供高性能且可扩展的API，可用于AI场景。文章从源码入手，分析其流式执行原理，包括读取数据源、构建数据处理、输出数据等环节，还介绍了LogicalPlan转PhysicalPlan及流式执行过程。