「大模型预训练」共找到 9479 篇相关文章
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
一键式训练端到端Agent，Qwen3+MCP工具集高效集成！
RLFactory是开源的端到端RL后训练框架，将环境与RL后训练解耦，有极致易用、高效训练等特点。它让用户专注奖励逻辑和工具配置，还能提升训练效率，用Qwen3和MCP工具可快速训练DeepSearch模型。
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
Nous Research推出Psyche Network，可整合全球算力训练AI。它基于Deepseek的V3 MLA架构，有DisTrO优化器等技术，能让个人和小团体创建大规模模型，还实现40B参数LLM预训练。
里程碑时刻！首个100B扩散语言模型来了，技术报告揭秘背后细节
蚂蚁集团与高校联合团队推出 LLaDA2.0 系列扩散语言模型，其中 LLaDA2.0 - flash 参数量达 100B。技术报告披露细节，其解决了 dLLM 做大做强难题，性能比肩 AR 模型，为扩散模型工业化带来转机。
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。
你的AI“体检”了吗？开源AI红队测试平台，一键自查三大风险
AI圈一边是顶尖模型发布，一边是大模型被“越狱”输出有害内容。腾讯朱雀实验室开源A.I.G平台，能模拟真实攻击对AI产品全方位风险扫描，有大模型体检、基础设施漏洞扫描、MCP Server风险检测三大核心能力。
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
LLM进入「拖拽时代」！只靠Prompt，几秒定制一个大模型，效率飙升12000倍
新智元报道，NUS、UT Austin等机构研究人员提出「拖拽式大语言模型」（DnD），它基于提示词生成模型参数，无需微调适应任务，效率最高提升12000倍，零样本泛化能力出色。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。