「自监督训练」共找到 3062 篇相关文章
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
100美元、仅8000行代码，复现ChatGPT，Karpathy：这是我写过的最疯狂的项目
特斯拉前AI总监Andrej Karpathy发布全新开源项目「nanochat」，是极简且完整的「从零构建ChatGPT」训练框架。不到12小时GitHub星标破4.2k。约8000行代码，花100美元、4小时就能训练出专属「小ChatGPT」。
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。
转译：AI 为啥这么爱用破折号？
文章探讨AI爱用破折号的原因，指出让模型不用破折号很难。分析了几种解释，如从训练数据学来、因“万金油”特性、受RLHF工作者方言影响等，认为训练数据混入大量纸质扫描书是最可能的原因。
从衣服到饰品：OmniTry 实现珠宝、包袋等多类可穿戴物品的虚拟试穿
Kunbyte提出OmniTry，将VTON从服装扩展到任意可穿戴物品，采用无掩码设定。它经两阶段处理流程训练，在12种常见物品类别评估中表现优，有扩展潜力，但也存在训练数据类别限制等局限。
Claude半个月连崩7次！全球宕机3小时，强制实名精准封号
Claude半个月内7次大规模故障，全球宕机3小时，开发者破防。原因是Anthropic算力储备告急，为自救拟自研芯片。此外，Anthropic还通过改定价、加闸、实名验证等措施控制成本。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
腾讯AI Lab首创RL框架Parallel-R1，教大模型学会「并行思维」
腾讯AI Lab等机构研究者首创Parallel - R1框架，通过强化学习让大模型掌握并行思维。它解决了RL训练的冷启动和奖励设计难题，在多数学基准上提升准确率，还揭示模型思维策略变化及并行思维的‘脚手架’作用。