搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

搜索智能体RAG落地不佳？UIUC开源s3，仅需2.4k样本，训练快效果好

当前 Agentic RAG 落地有挑战，UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本，训练快且效果好，解决了优化目标偏离、检索与生成耦合等问题，在通用和医学 QA 任务中表现出色。

微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。

OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。

扩散式语言模型（DLM）因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架，让BERT学会对话，证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力，还开源全流程代码。

Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。

酷模Cumob AI是基于Next.js构建的AI内容生成平台，集成多AI服务提供商API，有漫画生成等工作流，具备并发处理、资源管理等优化，支持多种部署，有诸多功能特性与亮点。

随着AIGC转向产业落地，监管加强，但AI生成内容风险仍凸显。全国首个AI生成内容合规团体标准《人工智能生成内容合规管理指南》应运而生，提供落地方案，现公开征集起草单位与专家。

Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。

作者分享开源的AI短剧生成工具，它能根据剧本完成智能分镜、生成视频片段等一条龙服务，采用全局种子+风格继承改善人物和场景一致性，有分镜编辑器可手动调控，适合多种人群。

大模型时代，Scaling Law 边际效益递减，业界转向后训练。《Post-training 101》博客可助初学者入门，涵盖从预训练到指令微调、SFT 原理、多种强化学习技术及模型评测方法等内容。