「简单持续预训练」共找到 2893 篇相关文章
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
VLA统一架构新突破：自回归世界模型引领具身智能
北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构，基于全离散、自回归机制建模多模态信号，后训练引入世界模型。它刷新多项基准纪录，在真机操控和自动驾驶有潜力，为多模态感知决策融合带来新思路。
最近新出现的两个提示词注入攻击场景
随着AI应用广泛，提示词注入攻击场景增多。一是Checkpoint发现带注入攻击的恶意软件，与AI分析系统对抗；二是多所大学论文含面向AI的秘密指令，对抗AI审稿。本质是攻防双方的对抗，且会持续。
Thinking Machines首款产品重大更新：K2 Thinking、Qwen3-VL都可以微调了
由前OpenAI CTO创办的Thinking Machines Lab推出的首款产品Tinker API有重大更新。取消候选名单面向所有用户，还可微调Kimi K2 Thinking，新增兼容OpenAI API接口，支持Qwen3 - VL视觉输入，降低模型训练门槛。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
Karpathy用「harness」彻底终结了RAG。
假期时Karpathy提出llm.wiki想法引发关注。它是元框架，定义人类与AI协作管理知识的方式。与RAG不同，它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试，发现TextIn API解析效果好，还优化处理流程提升质量。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
全球百万网友迷上赛博「养鱼」，我也被这群AI小丑鱼拿捏了
Draw A Fish是一款AI小游戏，让全球百万网友上头。玩法简单，在画布画鱼，达到一定相似度就能放虚拟鱼缸。它门槛低、有成就感和互动性，背后是基于PyTorch的卷积神经网络，用ResNet18架构和QuickDraw数据集训练。
桌面端已经过时了，这个 AI 直接在手机开了 Agent 商店
文章介绍 Macaron 应用，它有马卡龙形象的 AI 陪伴聊天功能，能记住用户习惯喜好。还可让 AI 生成手机 APP，有分享生态。其灵感库似应用商店，有经济系统，应用创建简单，完成度高，实现 AI 从工具到伙伴的进化。