「参数共享」共找到 827 篇相关文章
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载，分析共享文件系统类别，给出比较视角，解读各负载测试结果并总结选型要点。
你们催更的模型，云栖大会一口气全发了！
云栖大会上新6款模型、发布1个全新品牌，覆盖多场景。如Qwen MAX万亿参数大模型能力登顶国际榜单，Qwen3 - Omni实现全模态不降智等，各模型能力升级显著，现已同步上线。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
Qwen3小升级即SOTA，开源大模型王座快变中国内部赛了
开源大模型进入中国时间，Kimi K2风头正盛时，Qwen3迎来升级，235B总参数量仅为Kimi K2四分之一，基准测试性能却超它。Qwen官方不再用混合思维模式，新模型仅支持非思考模式，此次是小更新，大招在后头。
Apple | 开源视觉语言模型：FastVLM，可手机运行，首token速度提升 85 倍
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题，首 token 输出速度提升 85 倍，引入 FastViTHD 编码器，适配 iOS/Mac 生态，有不同参数量级版本。
轻量级开源AI多智能体框架！智能路由+上下文管理，前后端接口支持！
随着多智能体系统成对话式AI新趋势，GitHub现轻量级高灵活性多AI智能体协调框架Agent - Squad，它能实现多智能体协作、路由和上下文共享，支持双语言，部署灵活，功能强大且安装友好。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。