「多模态Scaling范式」共找到 1975 篇相关文章
终于开源升级OmniGen2，统一多模态图像生成模型，真的惊艳。
OmniGen2是强大的开源统一多模态图像生成模型，针对文本和图像模态构建独立解码路径，运用未共享参数。新架构提升处理效率和质量，在图像编辑等任务表现出色，还有多技术特点。
测试时也能RL，英伟达等提出全新范式：TTT-Discover
近日，斯坦福、英伟达、Together AI 等联合开源全新测试时新范式 TTT - Discover，在测试阶段用强化学习微调模型，以刷出 single best 结果，用几百美元就刷新诸多领域 SOTA。
17000字Claude 系统提示启示：Karpathy 揭秘LLM 学习缺失“第三范式”
Andrej Karpathy提出LLM学习范式缺失‘系统提示词学习’环节。他观察Claude约17000词的系统提示词，认为目前问题解决策略多靠人工写入，理想情况应通过该学习产生，这也引出诸多待明确细节和新问题。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
多模态幻觉的病因「高熵节点」找到了！全基准幻觉率下降
多模态大推理模型的幻觉常出现在生成转折词时，此时模型处于高熵关键节点，易脱离图像证据。研究者提出LEAD，高熵时保留候选推理方向，注入视觉锚点拉回证据，实验显示它能跨领域提升模型性能。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
Physical Intelligence联创最新访谈：机器人尚未进入可预测的Scaling阶段
2024年末PI实验室测试，机器人表现有惊喜也有“语义上说得通的错误”。联创Levine在访谈中认为，机器人未到可预测Scaling阶段，还在确定规模化技术路径，也谈到数据、泛化、可靠性等问题。
“边说边思考”，Mini-Omni-Reasoner 开创实时语音推理新范式
Mini - Omni - Reasoner将推理能力引入大型语音模型，开创“边说边思考”范式，实现实时语音推理与交互。推出Spoken - Math - Problems - 3M数据集，经四阶段生成流程构建。训练采用分阶段策略，性能超基础模型。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。