「线性模型」共找到 7773 篇相关文章
小扎又开源了：7B实现自监督学习SOTA
Meta发布全新开源视觉模型DINOv3，首次证明自监督学习模型能在广泛任务中超越弱监督学习模型。它用无标注方法，扩展数据和模型规模，支持标注稀缺场景，在多任务实现SOTA。
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
GPT-6要「活」了？MIT新作曝光，AI「自进化」不远了
麻省理工学院推出全新自适应大模型框架「SEAL」，让模型从「被动学习者」变为「主动进化者」。网友猜测GPT - 6可能整合其能力，成为能自主学习的模型，研究虽有局限，但为大模型自进化提供新路径。
一段 signature，不仅撬开了 Opus 的隐藏推理，还让 Kimi、GLM 露出了"熟悉感"
研究者发现，将 Opus 等强模型返回的加密推理块交给同家族弱模型，弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外，公开的 Agent 轨迹存在隐私泄露风险，部分开源模型易受 Opus 风格影响。
R1/Qwen训练新范式：无需继续训练，直接“算”出权重，提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。