「预训练」共找到 2196 篇相关文章
刚刚，小红书开源了首个多模态大模型dots.vlm1，性能直追SOTA！
小红书人文智能实验室（hi lab）低调开源视觉语言模型dots.vlm1。该模型基于自研视觉编码器构建，在视觉理解和推理任务上接近SOTA水平，实测表现惊艳，还介绍了其技术架构、预训练数据布局等内容。
12项世界第一！国产基模一战封神，11亿参数逆袭70亿大魔王
蚂蚁灵波的LingBot-Depth 2.0空间感知模型，在测试中拿下12个世界第一，解决了玻璃、细小物体等行业难题。它还与奥比中光达成合作落地商业应用。其核心预训练基模LingBot-Vision被开源，有望加速具身智能生态发展。
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
为什么说多模态是推荐系统破局的关键？来自饿了么一线的实战复盘
文章围绕多模态推荐展开，从传统推荐算法演进到多模态表征技术，结合饿了么场景实践，还探索生成式推荐。介绍多模态推荐挑战与代表性工作，梳理表征技术发展，详述饿了么系统设计与训练，分析生成式推荐方案及业界路线。
对话际数科技联创：质量赛道的先驱者，要做空间数据的「精炼厂」
本文是对际数科技三位联合创始人的访谈。在具身智能时代数据采集火热但数据荒严重背景下，际数关注数据质量，其以测绘背景为底气，用‘一张图、一把尺、一个飞轮’搭建技术护城河，打造质量因子库，还创新训练质量模型，有稳定商业路径。
Sora 2 惊现 LLM 推理能力，视频生成模型也能搞推理？
Sora 2在科学推理基准测试中获55%成绩，虽不敌GPT - 5，但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题，网友也证实背后或有GPT - 4o等处理。此外，Google研究显示视频模型经大量训练或有推理能力。
Unsloth-MLX：在Mac上微调LLM，代码无缝迁移到云端GPU
对于Mac用户，在原型实验阶段反复租云端GPU是资源浪费。开发者推出Unsloth - MLX，基于MLX框架，让Mac用户本地高效微调大模型，改一行导入语句就能无缝迁移代码到云端，还介绍项目特点、状态等。
LeCun的世界模型单GPU就能跑了
LeCun世界模型有新进展，开源极简训练方案LeWorldModel，单GPU就能跑，基于JEPA架构，速度快、参数小、控制强且懂物理，完胜此前JEPA方法，训练更简单。
清华&Qwen最新论文实证： VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型，构建极简 VLM4VLA 测试，发现 VLM 通用能力与机器人操控能力‘零相关’，还揭示视觉编码器短板。