「LoRA训练」共找到 2148 篇相关文章
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
仅用图像也能Think：Google等提出一种视觉规划的全新推理范式！
剑桥和Google等提出并开源视觉规划范式，通过纯视觉表示规划，独立于文本。还引入VPRL框架，用GRPO后训练大型视觉模型。实验选三个视觉导航任务，VPRL表现最佳，显著优于其他方法。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
一个提示攻破所有模型，OpenAI谷歌无一幸免！
HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。
4个MIT的00后，两年干出全球最火AI编程工具，600亿美元卖给了SpaceX
今年1月，Cursor CEO Michael Truell决定训练自有模型，不再依赖Anthropic的Claude。5个月后，SpaceX以600亿美元收购Cursor母公司。此前Cursor增长快但依赖Claude，自研模型有成本优势却缺算力。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
统一视觉多模态与多任务！快手可灵与港科大团队发布视频生成模型，加速真实世界理解
港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo，统一训练多种视觉模态，让模型更懂物理规律，视频生成更真实可控，还实现零样本泛化，在多任务表现优异。
公开模型一切，优于DeepSeek-R1，英伟达开源Llama-Nemotron家族
英伟达推出面向高效推理的 Llama-Nemotron 系列模型，包括 Nano、Super、Ultra 等规模，具备卓越推理能力与效率，采用开放许可。模型支持动态推理切换，训练结合多方法，性能优于 DeepSeek-R1 等。