「MoE训练」共找到 2231 篇相关文章
重生之在《我的世界》做山姆·奥特曼：网友在线手搓ChatGPT
一老哥在《我的世界》上手搓出有500万个参数的ChatGPT，经英语对话训练，能在像素世界小电脑上对话，用红石电路和存储单元搭建，未用指令集，网友还在游戏里开发出诸多东西。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
AutoGLM 2.0 深度解析：云端智能体的技术跃进与现实挑战
2025 年 GUI Agent 赛道升温，多数产品依赖本地执行。智谱 AI 在 8 月 AutoGLM 2.0 闭门交流会上展示新路径，其由国产模型驱动，具多能力，在 Agent 云端执行架构、训练方式等方面有突破，也面临一些挑战。
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
内部爆料：Alexandr Wang上任第一把火，Meta大模型闭源
据知情人士，Meta新成立的超级智能实验室正讨论重大决策，高层对AI模型是否开源存分歧。Meta曾因性能问题延迟Llama 4版本，现完成Behemoth训练却因不佳延迟发布，还探讨放弃它开发闭源模型。
Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程
作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。
快手高欢深度解读：多模态理解如何成为AIGC视频生成的“幕后功臣”？
2024 年 AIGC 爆发，多模态理解技术支撑 AIGC 原生应用。快手高欢在 AICon 大会分享多模态理解在 AIGC 场景应用，介绍主流 AIGC 产品形态，探讨其背后多模态理解方法、提升能力途径及赋能 AIGC 的方向。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
告别微调时代：拖拽式LLMs实现12000倍加速适配，输入描述，秒级定制LLM，效果、速度全面超越
传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。
南洋理工 | 推出开源版MetaQuery：OpenUni，1.1B参数媲美BLIP3-o-8B
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。