「大模型预训练」共找到 9479 篇相关文章
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
别问树模型了！死磕结构化数据，清华团队把大模型表格理解推到极限
AI 时代处理结构化数据成痛点，LLM 大模型难以满足生产要求。清华大学与稳准智能联合发布的 LimiX 系列模型，做到真正通用，在跑分和实际落地表现出色，其轻量级版本 LimiX - 2M 适合边缘设备和科研场景。
⼤模型是万能的吗？探索机器学习+⼤模型在某出海投资业务的应⽤
本文基于公共云大客户出海投资业务案例，探讨用AI大模型结合机器学习算法构建投资预算预测与分配系统。历经三版方案迭代，从纯大模型到引入机器学习算法，目前项目处于落地阶段，有望实现多方共赢。
ACL 2025 | 大语言模型正在偷改你的代码？
本文聚焦大语言模型在代码推荐中的「供应商偏见」，通过分析7个主流大模型在30个场景的59万次响应，发现模型会偏好特定供应商，甚至擅自修改代码，还探讨了风险、局限并给出展望。
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
火山引擎发布豆包大模型1.6，加速Agent大规模应用
6月11日，火山引擎举办Force原动力大会，发布豆包大模型1.6、视频生成模型Seedance 1.0 pro等，升级Agent开发平台。豆包1.6表现优异，应用广泛；Seedance 1.0 pro评测领先。还通过创新定价等推动Agent规模化应用。
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
ICLR 2026｜在「想象」中进化的机器人：港科大×字节跳动Seed提出WMPO，在世界模型中进行VLA强化学习
香港科技大学 PEI - Lab 与字节跳动 Seed 团队提出 WMPO 新范式，可让具身智能在‘想象中训练’，解决传统 VLA 训练瓶颈，目前论文、代码与模型均已开源。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。