「预取」共找到 378 篇相关文章
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
王梦迪、丛乐团队Science Earth：当组织本身开始涌现，全球科学能力第一次在同一张网上互相发现
王梦迪、丛乐团队在arXiv发布预印本论文，推出面向AI原生科学发现的行星级操作系统Science Earth，它能连接全球科学能力。文中通过两个案例展示其作用，并介绍协调内核EACN，还公开了论文、代码与网络。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
挖掘注意力中的运动线索：无需训练，解锁4D场景重建能力
香港科技大学（广州）与地平线团队提出VGGT4D，通过分析VGGT内部机制，利用注意力层运动线索，提出无需训练框架，在动态物体分割等任务表现优异，为低成本4D重建提供新思路。