「并行循环Transformer」共找到 626 篇相关文章
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
飞轮“倒转”，灵巧手厂商困在夹缝里
2024年具身智能焦点转向灵巧手，初创公司遭上下游夹击。技术远未成熟价格战却已升级，投资者押注最AI、最像人手、最早量产。但智能不足、应用场景不明确，降本成唯一共识，行业陷入“降本缺规模”死循环。
单Agent时代结束，AI们开始组团上班
月之暗面发布并开源K2.6，重点升级代码能力与多Agent协作的“Agent集群”能力。K2.6在Artificial Analysis上取得全球开源第一，实测能并行交付多格式成果，还展现出强大的全栈应用开发能力。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
AI证伪百年数学猜想被打假！Lean证明惊现漏洞，哥大教授破防了
OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
Anthropic曝光自家整套，AI原生研发手册
Anthropic 在官方博客发布两篇内部实践文章，《The AI-Native SDLC Playbook》讲 AI 承担多数编码工作时软件流程安排，《How Anthropic secures its AI-native software development lifecycle》谈流程自动化后安全体系建设。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
Claude写完代码不直接交了：4个Skill自查一遍，改好再找你
Anthropic将AI验收纳入循环，让Claude写完代码后进行四道检查才交付，定义了验证循环，Claude Code团队有4个自查Skill，还介绍了写验证Skill的方法、触发设置，AI编程竞争正从生成转向验证。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。