搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍

大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。

Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。

本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。

Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。

DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。

大型推理模型存在「过度思考」问题，训练混合推理模型易出现奖励欺骗。南大等团队提出 TNT 方法，利用思考模式解答部分为问题动态设非思考模式 token 上限，解决奖励欺骗，实现准确率与效率双赢。

AI科技评论独家获悉，乐聚机器人将推出面向工业场景的“垂域具身智能模型”——KUAVO VLA，该模型用600+小时真机数据进行中训练，能提效且减少适配与训练成本，两项指标排名第一，利好二次开发者。

6月12日，夸克发布国内首个高考志愿大模型，上线‘高考深度搜索’等三大核心功能。其‘志愿报告’以Agent运行，能输出完整报告；模型经多阶段训练，搭载最大高考知识库，为考生提供精准志愿填报服务。

小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。

AI教母李飞飞一年前访谈再引关注，她指出大语言模型或许并非真正智能，其基于一维语言信号训练，在理解三维物理世界存在局限。相关实验也证实大模型在物理任务表现差，不过也有人提出不同观点。