「弹性预训练」共找到 2216 篇相关文章
压缩之外,Visual Tokenizer 也要理解世界?
MiniMax和华中科技大学发布视觉tokenizer新研究VTP,引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示,提出在预训练中引入语义理解,还发现Scaling Law现象,虽有争议但为研究提供新视角。
为什么说多模态是推荐系统破局的关键?来自饿了么一线的实战复盘
文章围绕多模态推荐展开,从传统推荐算法演进到多模态表征技术,结合饿了么场景实践,还探索生成式推荐。介绍多模态推荐挑战与代表性工作,梳理表征技术发展,详述饿了么系统设计与训练,分析生成式推荐方案及业界路线。
对话际数科技联创:质量赛道的先驱者,要做空间数据的「精炼厂」
本文是对际数科技三位联合创始人的访谈。在具身智能时代数据采集火热但数据荒严重背景下,际数关注数据质量,其以测绘背景为底气,用‘一张图、一把尺、一个飞轮’搭建技术护城河,打造质量因子库,还创新训练质量模型,有稳定商业路径。
Sora 2 惊现 LLM 推理能力,视频生成模型也能搞推理?
Sora 2在科学推理基准测试中获55%成绩,虽不敌GPT - 5,但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题,网友也证实背后或有GPT - 4o等处理。此外,Google研究显示视频模型经大量训练或有推理能力。
Unsloth-MLX:在Mac上微调LLM,代码无缝迁移到云端GPU
对于Mac用户,在原型实验阶段反复租云端GPU是资源浪费。开发者推出Unsloth - MLX,基于MLX框架,让Mac用户本地高效微调大模型,改一行导入语句就能无缝迁移代码到云端,还介绍项目特点、状态等。
LeCun的世界模型单GPU就能跑了
LeCun世界模型有新进展,开源极简训练方案LeWorldModel,单GPU就能跑,基于JEPA架构,速度快、参数小、控制强且懂物理,完胜此前JEPA方法,训练更简单。
清华&Qwen最新论文实证: VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型,构建极简 VLM4VLA 测试,发现 VLM 通用能力与机器人操控能力‘零相关’,还揭示视觉编码器短板。
OpenAI这招太狠!AI从「躲猫猫」到「自爆黑料」,主打一个坦白
随着AI进入高风险场景,透明、安全变得重要。OpenAI提出「忏悔机制」,让模型回答后产出自我坦白报告,不影响主回答评分,只考察诚实,能提升不良行为可见性,目前仍处概念验证阶段。
从「知题」到「知人」:UserRL让智能体学会「以人为本」
大语言模型距成真正用户伙伴缺‘知人’能力。来自UIUC与Salesforce团队提出UserBench和UserRL方案。前者将‘用户特性’制度化,构建评测环境;后者搭建统一强化学习框架,探索奖励建模,二者让‘以用户为中心’落地。
一个LoRA实现GPT-4o级图像编辑!浙大哈佛新模型冲上Hugging Face榜二
随着Gemini、GPT - 4o等把基于文本的图像编辑推向高峰,提高性能常需大量数据和大参数量模型。而浙大哈佛团队提出ICEdit,用少量数据和参数实现高质量图像编辑,媲美甚至超越商业大模型。