「两阶段训练」共找到 3088 篇相关文章
大模型智能体不止能写代码，还能被训练成白帽黑客
Amazon AWS AI的Q Developer团队发布两项训练网络安全大模型的新方法Cyber - Zero和CTF - Dojo。前者不依赖真实环境生成训练数据，后者构建实战环境让模型学发现漏洞，二者结合为AI白帽黑客成长提供路径。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒
QuestA通过在训练中注入解题提示，实现两项成果：在1.5B模型上实现Pass@1的SOTA性能，还提升了Pass@k性能。它解决了RL训练中简单与困难任务的权衡问题，为开发强推理模型打开大门。
Agentic Coding表现创新高，全新KAT系列模型强势霸榜SWE-Bench
快手 Kwaipilot 团队推出 KAT 系列两款 Agentic Coding 大模型，KAT - Dev - 32B 开源，KAT - Coder 闭源。两模型在 SWE - Bench Verified 表现出色，且在多训练阶段创新优化，有强大代码生成能力和涌现现象。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。