「大模型预训练」共找到 9494 篇相关文章
最新 AGI 暴论：强化学习的「GPT-3 时刻」实现，还需要 1 万年？
国外AI初创公司Mechanize三位创始人联合撰文称，RL或迎“GPT - 3时刻”，但需数千至上万年“模型处理任务所用时间”训练。还提出“复制训练”新范式，能磨炼模型能力，补足短板。
学界大佬吵架金句不断，智谱和MiniMax太优秀被点名，Agent竟然能写GPU内核了？！
卡内基梅隆大学助理教授蒂姆·德特默斯与加州大学圣地亚哥分校助理教授丹·傅，就AGI是否会实现展开争论。他们还谈到算力、Agent应用等话题，看好小模型、开源模型等发展，认可中国大模型进步。
离开大疆后，他年入百亿，把3D打印机干到世界第一
本文讲述拓竹科技创业历程。创始人陶冶等5位大疆工程师2020年出走创业，秉持极客文化，推出多款产品，让消费级3D打印机易用且低价。2025年营收破百亿，还面临大疆等竞争。
同一模型便宜50%，API Hub靠什么赚钱？
文章探讨大模型API Hub低价卖Token现象，指出低价出售的常是闲置算力等。分析厂商不官网降价原因，介绍第三方低价来源及Hub盈利途径，给出判断低价Hub能否用的检查清单。
ChatGPT默认模型大升级，GPT-5.5 Instant正式上线：新增记忆来源功能
OpenAI宣布ChatGPT默认模型升级为GPT-5.5 Instant，面向所有用户开放。升级核心是准确性，在高风险领域幻觉内容减少，能力全面提升，回复更简洁。还提升了个性化能力，引入记忆来源功能。
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
The Batch: 871 | Mistral测量了大语言模型的能耗、水耗与物料消耗
法国AI公司Mistral发布对Mistral Large 2的环境分析报告，涵盖全生命周期影响。研究表明单次使用影响小，但累计负担大。虽研究有不足，但其方法或推动环保型AI发展。
最具争议性研究：大模型中间层输出可 100% 反推原始输入
意大利罗马第一大学GLADIA Research Lab论文提出主流Transformer语言模型信息处理几乎不丢内容，是可逆的。实验验证其单射性，SIPIT算法能100%重建输入。研究有新视角，但也引发讨论。
Cursor自研模型反超Opus 4.6！价格脚踝斩，氛围编程沸腾了
Cursor新编程模型Composer 2性能超Claude Opus 4.6，价格“脚踝斩”。它靠引入新强化学习方法，让模型学会“做笔记”突破上下文瓶颈，在任务中表现出色，研究员还放出Composer 3消息。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。