「多模态统一建模」共找到 1461 篇相关文章
从「知题」到「知人」:UserRL让智能体学会「以人为本」
大语言模型距成真正用户伙伴缺‘知人’能力。来自UIUC与Salesforce团队提出UserBench和UserRL方案。前者将‘用户特性’制度化,构建评测环境;后者搭建统一强化学习框架,探索奖励建模,二者让‘以用户为中心’落地。
社区供稿 | 开源SOTA:阶跃发布端到端语音大模型Step-Audio 2 mini!
阶跃星辰发布最强开源端到端语音大模型 Step - Audio 2 mini,在多个国际基准测试集获 SOTA 成绩。它统一建模语音理解等,率先支持语音原生 Tool Calling 能力,架构创新,案例展示其多方面强大能力。
全模态RAG突破文本局限,港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything,突破传统RAG技术单一文本局限,整合多模态文档解析等核心能力,解决现有RAG系统痛点,具备多方面技术亮点,有便捷部署方式和多场景应用模式。
第一章:AI 技术前沿全景
文章聚焦AI Agent技术前沿,阐述大语言模型三次能力跃迁,从涌现能力到对齐指令遵循,再到推理与行动。还提及Scaling Law变化,推理时计算扩展更划算,介绍代表性推理方案及多模态融合,指出Agent打破传统对话AI局限。
Unsloth宣布更新,可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新,支持视觉/多模态模型强化学习训练,含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法,能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。
智能体编程“小钢炮”:Qwen3.6-35B-A3B开源!
Qwen3.6-35B-A3B开源,是稀疏MoE模型,总参350亿、激活参数30亿,轻量高效,在智能体编程等方面表现卓越,超越前代,可与稠密模型媲美,支持多模态,已在Qwen Studio上线并发布开源权重。
微信、清华连续自回归模型CALM,新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM,它将语言建模为连续向量而非离散词元,显著改善性能与计算成本权衡,解决了 LLM 效率瓶颈,虽面临技术挑战但实验效果佳,还指明未来研究方向。
新鲜出炉!谷歌nano banana模型刷屏背后技术揭秘
谷歌Nano Banana模型刷屏,其项目负责人等揭秘技术。它有场景一致性、文本渲染等特性,团队用文本渲染能力作评估指标,还靠原生多模态、交错式生成等技术,结合用户反馈实现多方面进步,图像模型做PPT尚处起步。
Unsloth发布Qwen3-VL本地运行和微调指南,修复隐藏bug
Unsloth团队修复Qwen3-VL系列模型聊天模板语法问题,重新上传GGUF量化文件,使模型可本地稳定运行。介绍了不同规格模型硬件需求、表现,给出部署步骤、参数差异,还展示多模态能力测试,提供多种格式模型及微调工具。
告别盲目卷参数!科大讯飞1024亮出底牌:all in“更懂你”
在模型能力趋同当下,科大讯飞在1024开发者节提出让AI“更懂你”。展示多模态超拟人“小飞老师”和「百变声音复刻」功能,发布星火X1.5大模型,还推出多领域软硬件产品,赋能多行业。