搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

10万token自然语言推理，让30B-A3B模型站上奥赛金牌线

上海人工智能实验室报告显示，30B - A3B规模的SU - 01模型不依赖外部工具，经训练在IMO、USAMO、IPhO等奥赛评测达金牌水平。研究还验证更高效科学推理系统路线，有望用于更多科学问题。

网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。

杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。

阿里巴巴通义实验室开源Tongyi DeepResearch模型，是全球首个性能能与OpenAI DeepResearch较量且全开源的Web Agent。它采用先进架构，有两套推理范式，训练方法论有创新，实测表现佳，应用场景广，用Apache - 2.0许可证。

华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。

中国人民大学高瓴人工智能学院发布DeNovoSWE数据集，专注长程软件工程任务。它通过特定机制构造高质量数据，为代码智能体长程能力训练提供支持，实验显示能显著提升模型仓库生成能力。

Google将多年积累的翻译能力灌进开源大模型TranslateGemma，它基于Gemma 3，专为翻译任务调优，有3个规模版本，覆盖550种语言，能直接看图翻译，亮点颇多。

2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。

大语言模型在竞赛编程场景易失败。南大、清华等研究者提出Solvita框架，由四个角色形成闭环，构建可训练图结构知识网络积累经验。实验显示其在多评测中表现强，提升不靠增加token。

Google DeepMind研究者设计的语言模型，能判断关键单词并进行深度递归计算，通过轻量级“路由器”节省计算资源，在同等训练成本下表现显著优于传统模型，文中还提及其他解决动态算力分配问题的思路。