「无预训练模型」共找到 8413 篇相关文章
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
Nanbeige4.2-3B：探索通用Agent小模型
在模型越做越大的当下，推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B，在架构、数据构造和训练pipeline层面做了系统工作，评测表现良好，还探索本地个人助手等应用。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
GPT之父：只用上世纪数据训AI，它居然也会写Python？！
GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型，其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型，发现核心能力差距不大，且用老语料调教它成聊天助手时现风格问题。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
Qwen团队发布长上下文Reasoning模型QwenLong-L1，超越o3-mini
Qwen团队发布长上下文Reasoning模型QwenLong - L1。当前大模型处理长文本有训练效率低、过程不稳定难题。QwenLong - L1用分阶段强化学习等方法，实验中超越o3 - mini、比肩Claude，还在案例表现出色。
Alibaba力作:Ovis-U1 融合理解、生成与编辑，解锁无限可能
OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。