「预训练语言模型」共找到 8240 篇相关文章
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
英伟达开源9B参数小模型，比Qwen3快6倍
英伟达推出新型小型语言模型Nemotron Nano v2，在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高，速度快6倍。它兼顾推理与非推理任务，支持“思考”预算控制，还开源了创建模型的绝大部分数据。
Nanbeige4.2-3B：探索通用Agent小模型
在模型越做越大的当下，推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B，在架构、数据构造和训练pipeline层面做了系统工作，评测表现良好，还探索本地个人助手等应用。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
GPT之父：只用上世纪数据训AI，它居然也会写Python？！
GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型，其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型，发现核心能力差距不大，且用老语料调教它成聊天助手时现风格问题。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
Qwen团队发布长上下文Reasoning模型QwenLong-L1，超越o3-mini
Qwen团队发布长上下文Reasoning模型QwenLong - L1。当前大模型处理长文本有训练效率低、过程不稳定难题。QwenLong - L1用分阶段强化学习等方法，实验中超越o3 - mini、比肩Claude，还在案例表现出色。
大语言模型（LLM）到底是怎么运作的？（配图通俗讲解）
文章先介绍条件概率，指出大语言模型预测下一个单词是条件概率问题，会计算所有可能单词的条件概率选最高的。还提到直接选最高概率会使内容单调，引出温度概念，它能调整概率分布影响抽样结果。