「生成式预训练」共找到 4064 篇相关文章
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
纯血国产！4B模型越级打怪，杀入万亿赛道
9月1日，Hugging Face上线星火X2.5-4B和1.7B开源端侧模型，在多指标测试中表现优异，实现“越级打怪”。该模型基于全国产算力平台训练，在断网笔记本上实测效果惊艳，使用了两项技术提升能力，适配性强。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
浏览器自动化：从GUI到OpenCLI
文章讲述放弃不稳定的前端UI自动化操作，采用解析并复现底层API请求的方式，来解决浏览器自动化的效率与稳定性难题。介绍了OpenCLI思路、使用方法、原理，还提及自动生成CLI及应用案例，指出未来软件竞争维度将转向可调用性。
4步生图封神，GenEval从61%狂拉到92%，全面超越GPT-4o的TDM-R1模型来了
香港科技大学唐靖团队等提出全新通用强化学习框架 TDM - R1，仅 4 步采样就让组合式生成指标 GenEval 从 61% 升至 92%，超越 GPT - 4o。它解决少步扩散模型痛点，实现多方面性能提升，为少步生图发展带来新方向。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
对话原力灵机周而进：模型2.4B就够用，关键是“具身原生”；能闭环才是最高效方法
原力灵机推出首个具身原生模型产品DM0，仅2.4B参数，却能支撑实时处理画面与真机进化。其合伙人周而进称要走具身原生路线，还介绍了数据采集、模型训练等多方面内容及公司发展规划。
小红书，再造一个更有「声」命力的社区
2026年春节，小红书开放多种AI语音新玩法，如语音发布、评论、问一问等，增强社交趣味性。但AI语音落地面临音频理解、生成活人感和响应速度等问题。小红书有天然优势，技术团队自研模型达SOTA水平。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
参数破万亿！阿里Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布总参数超万亿的Qwen3 - Max - Thinking，预训练数据规模达36T Tokens。在多项权威测试中表现优异，能与顶级闭源模型竞争。引入两项核心创新，千问App等已上新，网友认可其能力与更新速度。