搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！

上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。

OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。

腾讯开源混元大模型最新版本Hunyuan - A13B，为专家混合模型，有800亿参数，130亿激活。支持快慢思考模式，针对AI Agent强化，设计超30种智能体指令。测试成绩超DeepSeek - R1等，架构和训练有优化。

英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。

Cornell大学兼Meta研究员jack morris成功将OpenAI最新开源的推理专用模型GPT-OSS逆向还原成基础模型，绕过对齐和安全措施，还暴露其训练用大量版权材料问题，此成果引发社区激烈讨论。

字节推出Seed，其Robix视觉—语言单模型能搞定机器人推理、任务规划和自然语言交互，核心采用思维链推理和三阶段训练策略，效果超Qwen2.5 - VL、GPT - 4o等，负责人是李航。

vivo AI Lab 算法团队提出新的大模型后训练框架 GTA，综合 SFT 和 RL 优点，解决文本分类场景中 RL 收敛慢问题。论文已被 EMNLP 2025 录用，介绍了 GTA 框架设计思路、实验结果等，未来还将探索更多场景和大模型。

大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。

英伟达ARC - AGI 2中，4B小模型NVARC以27.64%成绩力压GPT - 5 Pro登顶，单任务成本仅其1/36。亮点是零预训练深度学习法，还靠合成数据、测试时微调等策略。小模型特定领域优化后优势明显。

LRMs扩展到长文本场景是挑战，阿里开源QwenLong-L1框架，是首个用强化学习训练用于长文本推理的模型。它含三个核心组件，QwenLong-L1-32B性能领先，与Claude-3.7-Sonnet-Thinking相当。