「预训练模型」共找到 8112 篇相关文章
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
连续发布两款万亿参数模型，蚂蚁 AI 来势汹汹
国庆期间大模型行业热闹非凡，各团队产品侧重不同。蚂蚁百灵大模型团队在十天内连续发布并开源两款万亿参数模型 Ling-1T 和 Ring-1T-preview，引发关注。万亿参数模型难训，国内达到此规模的屈指可数。Ling-1T 综合性能出色，应用场景广泛。蚂蚁选择开源，意在构建开放 AGI 生态。
林俊旸从阿里离开后首度发声：推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。
高考数学斩获139分！小米7B模型比肩Qwen3-235B、OpenAI o3
2025高考落下帷幕，人工智能领域多家大模型挑战数学卷。小米7B参数的MiMo - VL模型考139分，比肩Qwen3 - 235B、OpenAI o3，还在多方面表现出色，技术报告等已开源。
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
机器人长出800个心眼？阿里达摩院开源具身新大脑，硅谷又坐不住了
2026年具身智能竞争激烈，阿里达摩院开源RynnBrain“具身大脑”。它采用分层架构，在16项评测中超越前沿模型。还介绍了核心技术、训练策略等，且全系列模型、评测基准和代码均开源。
调高一档推理强度，成本可能翻几倍：大模型思考原理讲清楚
文章详细讲解推理强度原理，指出其不改模型，只改草稿长度。还说明模型多思考能提高答题准确率的原因，剖析贵和慢的原因，介绍三种控制形态，并给出判断推理强度档位的框架。
ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！
蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。
从代码基座模型到智能体与应用：代码智能的全面综述与实践指南
北航、阿里等机构联合发布论文，系统梳理 2021 - 2025 年代码大模型发展。介绍代码基座模型、评测任务、对齐技术等，还提及软件工程智能体、安全防御及训练指南，预言未来编程走向。
微软开源3大突破AI Agent模型，仅140亿参数超越DeepSeek-R1
微软研究院开源AI Agent推理模型rStar2-Agent，140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习，在训练基础、算法、流程上有三大突破，显著提升性能且降低算力成本。