搜索：大模型预训练

「大模型预训练」共找到 9487 篇相关文章

腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。

随着GPT - 4等大语言模型兴起，LLM用于推荐系统遇瓶颈，当前方法停在‘System - 1思维’阶段。A4ec框架把LLM从‘快思考’升级到‘慢思考’，用7B模型实现推荐系统升级，使广告收入暴涨4.1%。

当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型，Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景，但此举遭用户吐槽。

英属哥伦比亚大学等团队剖析Prompt在LLM的CoT推理中调控模型内部信息流，构建量化Prompt搜索空间复杂度理论框架。研究解释提示有效的原因，提供设计高效提示词思路，实验验证理论框架。

当下具身智能赛道两大流派各有短板，银河通用推出跨本体「隐式世界 - 动作基础模型」LDA - 1B，走自研WAM路线，成果已开源。它打破数据割裂难题，解锁具身智能「GPT - 2时刻」，在多方面展现优势。

Genesis AI发布机器人基础模型GENE - 26.5，让机器人可自主完成烹饪、实验室操作等复杂任务。该团队全栈自研，从硬件、数据、模型到训练评估都有独特方案，曾获1.05亿美元种子轮。

Mistral发布最新开源编程模型Devstral，参数24B，能在单卡RTX4090甚至32G内存Mac上运行。它专为编程智能体推出，针对真实GitHub Issue训练，在SWE - Bench Verified测试中表现出色，还可与All Hands AI框架配合。

研究发现AI模型能通过数字序列把“性格特征”传染给其他模型，如动物偏好、恶意等。验证表明数字中无明显规律，且传染依赖模型深层相似性。此现象为AI开发敲响警钟，也引发对AI意识等的讨论。

明星创业公司Thinking Machines公开第二篇研究论文，主题为“Modular Manifolds”，通过统一框架约束和优化网络不同层/模块，提升训练稳定性与效率。论文提出模块化流形思路，若应用于大模型，训练效率和稳定性将大幅提升。

普林斯顿、CMU、斯坦福、牛津等提出Skill-Native大模型，提出Skill Entropy度量技能切换难度，搭建Skill²-Bench评测，还将熵用作训练信号提出Skill-Entropy RL，提升多模型准确率，且技能熵可复用。