搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

碾压π0.5，复旦团队首创「世界模型+具身训练+强化学习」闭环框架

复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题，提出 ProphRL 框架。该框架以世界模型 Prophet 为核心，结合 RL 算法，为具身智能落地提供更可行路径，实验效果显著。

在AI辅助Coding技术发展背景下，开源大语言模型生成代码有运行错误。上交博士团队提出AP2O方法，构建AP2O - Coder框架，借鉴人类学习模式，经实验验证能提升模型性能、抑制错误、提高样本效率，还适配通用模型。

现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。

文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。

OpenAI提出忏悔训练Confessions，让ChatGPT自己“坦白从宽”。在GPT - 5 - Thinking上实验有效，模型犯错后多会坦白，且更诚实，不影响原任务表现。还介绍了训练方法、实验结果及局限性。

上海交通大学与上海人工智能实验室团队发布首篇「数据价值密度」综述。提出“数据价值密度”概念并定义，建立分类框架梳理现有工作，还指出该领域面临的挑战，为大模型训练提供指南。

英伟达机器人主管Jim Fan判断，继“下一个词预测”后，世界建模将成新预训练范式，2026年大世界模型将为多模态AI奠基。他还讨论世界模型定义、应用，展望新推理形式，业内人士也各抒己见。

目前世界模型模拟方法在维持长期一致性上有挑战，南洋理工大学、北京大学王选计算机技术研究所、上海人工智能实验室联合开源长记忆世界模型WORLDMEM，介绍了其记忆机制、基础架构、训练技术及检索策略等。

预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。

港中大研究团队带来《Agentic Design of Compositional Machines》，推出BesiegeField平台，支持并行实验和大模型‘自我进化’。它将机械设计转为语言生成任务，通过闭环训练提升模型能力，多个模型测试表现良好。