搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

多模态大模型理解物理工具吗？PhysToolBench提出了衡量多模态大模型对物理工具理解的基准

香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。

在2026中国AIGC产业峰会，蚂蚁灵波沈宇军与李根深度对话。沈宇军指出大模型踩中互联网数据红利，但机器人数据空白。他认为VLA和世界模型非具身智能终局，未来会有物理世界独有的模型。

近期，OpenAI 携多款未公开新模型亮相。在 IMO 竞赛中，其宣称新模型获金牌，谷歌 DeepMind 的 Gemini Deep Think 也达金牌水平，但网友对二者评价不一。此外，‘o3 Alpha’疑上线，前 OpenAI 员工还在编程赛中击败 OpenAI 模型。

北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。

文章详细解释大模型Token概念，指出分词器会把文字切成Token，不同分词器切分结果不同。还介绍分词器的分词方法，通过统计文字出现频率打包成Token并编号，不同模型切分结果有差异。

香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。

北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。

清华和面壁智能团队研究揭示大语言模型进化的致密律，指出为获同等智能，模型参数量呈指数级下降，最大能力密度约每3.5个月翻一番，还探讨模型压缩、边缘智能等内容。

9月国产大模型持续开源，涉及DeepSeek、Qwen、百度等。如DeepSeek-V3.1缓解语言问题、优化Agent能力；阿里Qwen系列开源超10个模型；百度Qianfan-VL增强领域能力等。还展望10月新模型开源。

华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。