「多源混合训练」共找到 2313 篇相关文章
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
开源医疗模型SOTA：蚂蚁健康发布百亿参数医疗大模型
由浙江省卫生健康信息中心、蚂蚁健康等联合开发的AntAngelMed医疗大模型正式开源。它凭借独创训练与架构，在权威评测中表现优异，降低算力门槛，将专业知识、诊疗能力与计算架构融合，为医疗AI落地奠基。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
突发！Qwen更新模型，全面超越kimi k2，强的离谱，主打Agent
Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
开放世界任务成功率82%！美的攻克机器人泛化控制难题
美的AI研究院和华东师范大学联合提出ChatVLA - 2模型，引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%，远超现有方法，为通用机器人控制提供新思路。