「预训练范式」共找到 2901 篇相关文章
4小时喜提专属 ChatGPT、卡帕西又整活！自曝Agent帮倒忙、手搓八千行代码，网友：跑完就当上机器学习工程师
特斯拉前AI总监安德烈·卡帕西发布开源项目nanochat，是极简全流程训练/推理工具链，可搭建简易版ChatGPT复现模型。花100美元最快4小时能训练出可对话模型，代码基本手写，网友热度高。
100美元、仅8000行代码，复现ChatGPT，Karpathy：这是我写过的最疯狂的项目
特斯拉前AI总监Andrej Karpathy发布全新开源项目「nanochat」，是极简且完整的「从零构建ChatGPT」训练框架。不到12小时GitHub星标破4.2k。约8000行代码，花100美元、4小时就能训练出专属「小ChatGPT」。
ACL2025 | 传统符号语言传递知识太低效？探索LLM高效参数迁移可行性
中科院自动化所谭宇乔等研究跨规模大模型参数知识迁移（PKT）可行性。指出传统符号语言传递知识低效，LLM 模仿此范式也有局限。提出新 Pre - Align PKT 范式，实验分析 PKT 效果，揭示神经不兼容性致其失败。
转译：AI 为啥这么爱用破折号？
文章探讨AI爱用破折号的原因，指出让模型不用破折号很难。分析了几种解释，如从训练数据学来、因“万金油”特性、受RLHF工作者方言影响等，认为训练数据混入大量纸质扫描书是最可能的原因。
从衣服到饰品：OmniTry 实现珠宝、包袋等多类可穿戴物品的虚拟试穿
Kunbyte提出OmniTry，将VTON从服装扩展到任意可穿戴物品，采用无掩码设定。它经两阶段处理流程训练，在12种常见物品类别评估中表现优，有扩展潜力，但也存在训练数据类别限制等局限。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
腾讯AI Lab首创RL框架Parallel-R1，教大模型学会「并行思维」
腾讯AI Lab等机构研究者首创Parallel - R1框架，通过强化学习让大模型掌握并行思维。它解决了RL训练的冷启动和奖励设计难题，在多数学基准上提升准确率，还揭示模型思维策略变化及并行思维的‘脚手架’作用。
AI长身体，直接做实验！自主通用科学家，科研界的Scaling Law来了
本文探讨未来科研范式「自主通用科学家」（AGS），它将AI与机器人技术结合实现科研全流程自动化，有望突破人类科研限制，引发科学范式变革，还介绍了相关架构、优势及面临的挑战和应对策略。
长达790年视频镜头，打造原生多模态世界模型！北京智源研究院用Emu3.5统一“世界”
北京智源研究院发布并开源基于原生多模态训练的世界学习者Emu3.5，它将视觉和语言视为同一种数据流，在超13万亿token数据上学习，解决长视野多模态信息处理问题，经多阶段训练和优化，能力强大且已开源。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。