「大模型预训练」共找到 9494 篇相关文章
DeepSeek-R1发布后的100天复现之旅方法总结
DeepSeek团队发布「推理大模型」DeepSeek-R1 ，其技术细节未完全开源，全球研究团队开启“复现竞赛”。论文总结100天复现经验，介绍推理大模型与普通大模型区别、复现方法、关键发现及未来方向。
LLM总是把简单任务复杂化，Karpathy无语：有些任务无需那么多思考
随着推理大模型和思维链普及，大模型有了‘深度思考’能力，但现在有些偏科，简单任务也复杂化。AI大牛Andrej Karpathy发长文指出该现象，认为是基准测试优化所致，大模型发展不能只追求分数。
Claude 这个更新，让模型能力提升10%+！
Claude开放100万上下文长度更新，实际可用空间接近8倍提升。数据显示，上下文越长Claude与其他模型差距越大。API取消溢价，还更新图片/PDF上限、将Adaptive Thinking转正式版。
智源发布 2026 十大 AI 技术趋势：世界模型成 AGI 共识方向
2026年1月8日，智源研究院发布《2026十大AI技术趋势》，指出AI演进核心从语言学习转向理解物理世界秩序。报告阐述了AI从数字迈向物理世界的三条驱动主线，并给出十大趋势，为行业提供布局锚点。
27、42、73，DeepSeek这些大模型竟都喜欢这些数！为什么？
技术作家发现GPT - 4o、Claude等模型猜数偏好42、73，Andrej Karpathy测试中模型多选27。网友猜测原因，如数据集、人类偏见等，也有论文分析此现象，多与数据分布有关。
美团开源新模型，多项能力实测第一
美团发布5600亿参数的LongCat - Flash模型，有创新动态计算机制和高效训练推理架构。它在多项测评中领先，尤其在代理工具使用测试表现出色，还以宽松许可开源，降低使用门槛。
新鲜出炉！斯坦福2025 CS336课程全公开：从零开始搓大模型
斯坦福大学2025年春季CS336课程“从头开始创造语言模型”课程和材料全公开。介绍了讲师信息，课程目标是引导学生开发语言模型，含5单元19门课，注重实践，还说明了学习该课程需具备的能力。
人工智能研究者如何意外发现：我们对“学习”的理解，可能全是错的
传统理论认为大模型会过拟合，而如今大模型却驱动了诸多应用。2019年研究者突破传统扩大模型规模，出现‘双下降’现象。‘彩票假说’解释其成功原因，还重新定义了‘智能’，揭示科学进步规律。
Learning from peers！让LRM互相「传纸条」的新协作方式大幅提高准确率和效率
当前主流大模型如QwQ - 32B存在“前缀主导陷阱”，推理开头出错会使准确率暴跌。研究者受“同伴互助”启发提出LeaP框架，设计三种路由策略，实验显示小模型能借此超越大模型，开创了多种可能性。
这个框架让大模型省下50%内存，合并专家不如直接删掉？
Cerebras Research提出REAP框架，通过专家剪枝和合并技术压缩SMoE模型，能让模型‘瘦身’并保持性能，可省50%内存，但社区测试有不同结果，且存在调度开销等问题。