「AI预训练范式」共找到 11498 篇相关文章
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
Thinking Machines新发现：Lora不是权宜之计，哪怕秩低到 1，也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。
用2D数据解锁3D世界：首个面向运动学部件分解的多视角视频扩散框架
张昊等提出 Stable Part Diffusion 4D (SP4D) 框架，由 Stability AI 与 UIUC 联合完成。它能从单目视频生成多视角 RGB 与运动学部件序列，解决运动学部件分解及自动 rigging 问题，实验效果显著，被 Neurips 2025 接受为 Spotlight。
刚刚，小红书开源了首个多模态大模型dots.vlm1，性能直追SOTA！
小红书人文智能实验室（hi lab）低调开源视觉语言模型dots.vlm1。该模型基于自研视觉编码器构建，在视觉理解和推理任务上接近SOTA水平，实测表现惊艳，还介绍了其技术架构、预训练数据布局等内容。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
⼤模型是万能的吗？探索机器学习+⼤模型在某出海投资业务的应⽤
本文基于公共云大客户出海投资业务案例，探讨用AI大模型结合机器学习算法构建投资预算预测与分配系统。历经三版方案迭代，从纯大模型到引入机器学习算法，目前项目处于落地阶段，有望实现多方共赢。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
理解Ray Data分布式数据处理原理-源码分析
Ray Data是构建于Ray之上的分布式数据处理库，提供高性能且可扩展的API，可用于AI场景。文章从源码入手，分析其流式执行原理，包括读取数据源、构建数据处理、输出数据等环节，还介绍了LogicalPlan转PhysicalPlan及流式执行过程。
特征工程、模型结构、AIGC——大模型在推荐系统中的3大落地方向｜文末赠书
文章指出大模型在三个层次改变推荐系统，一是改变“知识学习”方式，带来知识输入革命；二是改变“智能体”结构，探索推荐模型新范式；三是创造“新世界”，实现个性化内容生成。还介绍了相应落地应用及对从业者的建议。
今年最难的机器人Demo，“机器人含量”为0
自变量发布全新灵巧操作系统TwinDex，后训练阶段真机遥操数据为0，机器人就能完成多项精细操作。该系统设计有灵巧性、一致性和可扩展性，降低了对真机遥操数据的依赖，使高质量数据与真机遥操的强绑定松动。