搜索：预训练框架 - AI Reading Hub

「预训练框架」共找到 3463 篇相关文章

CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了

北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。

训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。

文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。

RAG是大模型落地标配技术，但存在搜到文档却答错的痛点。德国萨尔大学等团队提出Disco - RAG框架，在‘搜’和‘答’间加入‘读懂’环节，已被ACL 2026主会录用，在多基准测试表现优异。

当前主流视觉 - 语言模型在企业级应用有难点，百度千帆团队提出Qianfan - VL系列多模态大模型，在通用和企业级任务表现出色，基于自研芯片训练，还提供框架与管线降低成本。

7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。

UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。

普林斯顿和伯克利研究定义“机器胡扯”，指出大模型胡扯问题。蚂蚁集团旗下蚂蚁密算在2025 WAIC提出高阶程序（HOP）框架，为大模型注入规则，还开源此框架，其在多行业场景应用效果良好。

华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。

港科广与腾讯联合团队提出VistaWise框架，将“跨模态知识图谱+轻量化视觉微调”引入开放世界智能体。实验显示其在“获取钻石”任务表现出色，成果被EMNLP 2025主会录用。该框架以低成本、跨模态为突破口。