「小模型训练」共找到 8525 篇相关文章
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
The Batch: 882 | Qwen3-Next 提速
阿里巴巴对开源权重模型 Qwen3 全新升级，发布 Qwen3 - Next - 80B - A3B 的 Instruct 和 Thinking 版本权重。其融合新研究成果，推理能耗低、速度快，还优化架构和训练方法提升效率与稳定性。
深入剖析AI公司正在面临的：「囚徒困境」
文章指出AI模型训练成本虽下降，但运营成本尤其是推理费用飙升，使AI公司陷入两难。用户只青睐最强模型，且模型资源消耗远超预期，订阅模式难以为继，还给出了避免亏损的三条出路。
刚刚，Claude两个新模型曝光！
开发者在Anthropic的API中发现Claude的两个新模型代号claude - marshmallow - eap和claude - melon - eap，目前处于内部测试阶段。社区有多种推测，且Anthropic命名风格改变，新模型或下月发布。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
超低标注需求，实现医学图像分割！UCSD提出三阶段框架GenSeg
GenSeg用AI生成高质量医学图像及对应分割标注，在仅有几十张样本时也能训练出媲美传统深度模型的分割系统，显著降低医生手工标注负担。它是通用、与模型无关的框架，可集成到现有分割模型。
OpenAI推迟开源大模型发布
OpenAI联合创始人兼CEO Sam Altman宣布本周不发布开源模型，因需更多安全测试。他曾透露要推可下载、自主运行且能力强的开源模型，此前6月也因安全测试推迟发布。
Think in Games：做一个在王者荣耀中会玩和思考的Agent
文章介绍论文《Think in Games: Learning to Reason in Games via Reinforcement Learning with Large Language Models》，指出当前AI在游戏领域面临的困境，提出TiG框架结合大语言模型与强化学习，打造既会做又会说的AI，实验验证其高效性。
快手在 AI 上，渐入佳境
文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。