「监督稀疏」共找到 244 篇相关文章
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
AI一眼认出95万物种，还能分辨雄雌老幼，2亿生物图像炼成“生命视觉”大模型
俄亥俄州立大学团队用2亿生物图像训练BioCLIP 2模型，取得最优物种识别性能。它在无相应监督信号的非物种任务中，准确率远超DINOv2，还涌现出物种间生态对齐、物种内差异分离等生物学理解。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
从最优传输角度训练奖励模型：让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM，基于最优传输训练奖励模型。它重构训练目标，通过选择性分布对齐排除噪声偏好，解决了奖励模型训练中监督信号不可靠的问题，实验验证其有效且泛化能力好。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
谷歌发布 Gemma Scope 2，深化对 LLM 行为的理解
Gemma Scope 2 是谷歌推出的解释 Gemini 3 模型行为的工具，结合稀疏自编码器和转码器，能让研究人员检查模型内部表示。它从多方面扩展了原先的 Gemma Scope，还引入针对聊天机器人的分析工具，已发布权重。
两张图就能重构3D空间？清华&NTU利用生成模型解锁空间智能新范式
ICCV 2025中稿的LangScene-X以全新生成式框架，仅用稀疏视图就能构建可泛化的3D语言嵌入场景。它攻克传统方法痛点，将多模态信息统一在单一模型，为空间智能领域打开新大门。
深度解读 DeepSeek V4.1 Flash 全新架构，如何成为显存杀手
本文深度解读DeepSeek最新发布的V4.1 Flash大模型，详解其全新CED架构与第二代压缩稀疏注意力CSA2，揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本，在长上下文Agent场景实现性能反超的细节。
让机器人「不仅会想，还能准确去做」，VLA-R1把「推理+行动」带进真实世界
VLA-R1是“先推理、后执行”的VLA基础模型，结合链式思维监督与强化学习，优化推理和执行。它有两阶段训练、三类可验证奖励等创新点，经多层面测试效果好，在多领域有应用前景。
GPT-5 = Scaling Law失效？毕树超：永远有效，因为它反应的是数据结构，客观规律
Shuchao Bi在哥大演讲阐述AI发展。回顾自监督与强化学习路径，指当前发展遇高质量数据瓶颈，认为Scaling Law不会失效。还探讨通往AGI面临的问题，畅想AI重塑世界，提出两个理解AI发展的心智模型。