搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

一篇大模型Agentic框架到应用最新综述

这是首篇系统拆解“大模型Agentic推理框架”的综述，不聊训练，只聚焦如何把LLM组织成会思考、协作、调工具的Agent，横跨科学发现、医疗、软件工程、社会经济模拟四大战场，给出统一语言、视角和评测。

文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。

阿里巴巴开源超强AI Agent模型Qwen3 - Coder - 480B - A35B - Instruct，测试分数媲美Claude Sonnet 4，超越DeepSeek。它参数多、支持大上下文窗口，训练数据优质，还进行代码强化学习扩展训练等，有对应命令行工具。

斯坦福大学2025年春季CS336课程“从头开始创造语言模型”课程和材料全公开。介绍了讲师信息，课程目标是引导学生开发语言模型，含5单元19门课，注重实践，还说明了学习该课程需具备的能力。

快手 Kwaipilot 团队推出 KAT 系列两款 Agentic Coding 大模型，KAT - Dev - 32B 开源，KAT - Coder 闭源。两模型在 SWE - Bench Verified 表现出色，且在多训练阶段创新优化，有强大代码生成能力和涌现现象。

Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。

OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。

Meta开源DepthLM，首证视觉语言模型不改架构，也能媲美纯视觉模型的3D理解能力。它通过视觉提示等策略，解锁VLM多任务处理潜力，为自动驾驶等领域带来前景。

MiniMax发布旗舰级Coding & Agent模型M2.1，在Multi - SWE - bench榜单中以10B激活参数拿下49.4%成绩，超越竞品成SOTA。它解决模型‘偏科’问题，适配开发工具链，实测在多语言编程任务中表现出色。

在SNS内容爆炸式增长的当下，传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型，采用以RL为核心的三阶段渐进式训练方法，实验显示其性能优异，还能转化商业价值。