「多模态微调」共找到 1187 篇相关文章
Meta 143亿挖角后的首个作品：Alexandr Wang 推出闭源模型，杨立坤点赞
沉寂9个月后，Alexandr Wang带队的Meta发布新一代模型Muse Spark。它是原生多模态推理模型，性能媲美Gemini Pro和GPT 5.4，在多领域有应用潜力。不过闭源引争议，且在部分领域有短板。
面向业务落地的AI产品评测体系设计与平台实现
文章聚焦淘宝闪购技术部AI产品评测，先介绍AI业务应用场景与评测挑战，接着阐述评测体系从多方面思考的要点，包括评价维度、评测方式等，还提及平台建设成果，最后展望未来多模态评测等规划。
邱锡鹏团队新作：让机器人学会「察言观色」
复旦大学邱锡鹏团队等发布全新操作框架 RoboOmni，突破传统 VLA 依赖显式指令局限。它融合多模态信号，构建数据集，在成功率等方面超基线，以跨模态指令让机器人主动推断意图，开启具身智能‘共情时代’。
华人主导谷歌SLED，论文登顶会！一键让模型学会自救
大模型常「瞎编」，传统修复代价高。谷歌在NeurIPS 2024提出SLED方法，不依赖外部知识和额外微调，将各层预测纳入考量，减少模型幻觉。实验显示，SLED能显著提升模型准确率。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
DeepSeek刚解决了AI视觉最后一块拼图：极低成本+精准视觉定位，AI接管电脑已无死角
DeepSeek放出新论文《Thinking with Visual Primitives》，解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案，在多个任务上达前沿水平，但也存在精度、触发机制和泛化能力等局限。
编程进入「对讲机」时代！Claude抢发语音写代码，转录Token全免费
Anthropic给Claude Code加语音模式，输入 /voice，长按空格说话即可输入，转录Token全免。OpenAI的Codex也更新类似功能。语音编程在Debug、架构讨论等场景好用，但识别变量名等仍有短板，未来编程将多模态。
去掉 VAE 之后，商汤用 8B 参数重新定义了开源生图的上限
商汤SenseNova U1开源后引发开发者社区关注，它基于NEO - unify架构，摒弃VAE，实现多模态理解与生成原生统一。在多项基准测试中表现出色，还针对企业办公场景优化，成为生产级任务新选择。
2G 内存跑 Gemma 3n 完整版！全球首个 10B 内模型杀疯 LMArena：1300 分碾压记录
当地时间6月26日，谷歌正式发布Gemma 3n完整版，可在本地硬件运行。它是开源大模型，具多模态能力，最低2GB内存设备就能跑，E4B模型LMArena测评表现佳，还有MatFormer架构等多项创新。