搜索：开发团队模型

「开发团队模型」共找到 9953 篇相关文章

微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率

随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。

近几个月，开源成AI社区焦点，国内厂商七八月开源多款大模型，但音频生成占比小。小红书技术团队自去年起在音频领域稳定开源，成果覆盖TTS、ASR方向，具商用属性，降低落地门槛。

MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。

何恺明携本科生团队推出文生图模型MiniT2I，基于MM - JiT架构，仅用258M参数实现不错效果，训练成本低。该架构删繁就简，去掉VAE和AdaLN等模块，性能提升，展现出与工业级模型的竞争力。

近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

2026年AI圈竞争激烈，闭源巨头巅峰对决时，开源社区迎来中国队的「技术核爆」。全球首个万亿级混合线性「思考模型」Ring - 2.5 - 1T开源，它能力强大，还能无缝接入Claude Code，实战表现亮眼。

树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。

当前人工智能高能耗问题凸显，脉冲神经网络被认为更具生物合理性、能效更高，但缺乏平衡计算效率和生物合理性的脉冲神经元模型。国防科技大学与中科院团队合作提出 MSF 脉冲神经元模型，相关研究发表于《自然・通讯》。

Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。