搜索：生成式预训练

「生成式预训练」共找到 4046 篇相关文章

爆火论文颠覆RL认知！「错误奖励」让LLM推理暴涨24.6%，学界惊了

最新爆火论文颠覆传统RL训练认知，华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验，发现其对Qwen模型有效，但并非对所有模型都有效。

文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。

文章指出现有文档图像解析方案有局限，介绍字节跳动的Dolphin解决方案。它采用分析 - 解析范式分两阶段解析文档，避免传统方法弊端，运行效率高，还给出训练方案、实战代码和试用链接。

2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。

谷歌DeepMind推出的AlphaEvolve系统，结合Gemini模型与进化算法，能自主探索、生成并迭代优化算法代码。它优化经典算法，在多领域取得突破，其原创能力引业界关注，OpenAI研究员对此表示震撼。

在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。

文章指出生成式AI改变软件开发方式，LLM在编码领域成果显著。但AI辅助编码有局限，如‘70%问题’。还介绍有效模式，提及软件工程智能体兴起，最后认为未来对经验丰富工程师需求或增加。

本文探讨世界模型的范式变革，介绍Aether AI推出的引入因果思维链的具身世界模型CausalWM，该模型在多项公开评测中取得领先成绩，分析因果推理对具身智能落地的核心价值，展望其在多领域的应用前景。

上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型，发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源，与Hugging Face联合发布。

作者实测updream预演台，它可传图自动重建3D白模场景，可摆人物、调机位等，再配合Seedance 2.5渲染成片。作者还做了对照实验，证明白模能锁定拍摄意图，并给出使用建议。