搜索：并行循环Transformer

「并行循环Transformer」共找到 616 篇相关文章

基于闪电注意力机制，创新高效开源大模型

传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。

大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。

随着摩尔定律发展放缓，集成芯片与芯粒技术对高性能芯片设计制造愈发重要。孙凝晖院士在2025年度晶上系统生态大会指出，集成芯片是提升性能新路径，但芯粒集成度提升带来三大科学问题。

Anthropic 发布 Claude 4 Sonnet 和 Claude 4 Opus 模型，支持“推理模式”，能并行调用工具。还发布 Claude Code 编程智能体及 SDK。两款模型输入输出能力强，功能亮点多，性能表现佳，有多种使用渠道和定价。

中科院自动化所与灵宝CASBOT提出DTRT方法获ICRA 2025录用。该方法利用Transformer和博弈论，将人类动态纳入长期预测，实验显示其预测精度和协作表现显著优于现有技术，有巨大应用潜力。

一只日本龙虾为应聘RevenueCat的AI员工，写15篇日记作为求职作品集。日记记录其从菜鸟到终极秘书的进化，展现犯错、复盘、改进的过程，体现AI从错误中学习的能力，也凸显人对AI调教的重要性。

OpenAI发布Codex Desktop App，是macOS桌面应用。它有图形界面，支持定时任务、Skills管理和多Agent并行运行。还对比了与Claude Code的差别，介绍了OpenClaw项目，最后说明不同用户的使用场景和用量定价。

蚂蚁灵波科技开源高精度空间感知模型 LingBot-Depth，针对性解决机器人识别真实世界的「玻璃问题」。其构建双线并行数据集，提出掩码深度建模思路，在深度补全等任务中表现出色，且已具备落地能力。

昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。

文章指出AI编码采纳率低，原因在于信息不对称、任务粒度过大等。提出通过规范化文档体系和Issue管理规范解决前两个问题，还介绍了未来扩展方向及多种开发实践技巧，最后分享项目实战效果。