搜索：多模态大模型智能体

「多模态大模型智能体」共找到 9637 篇相关文章

让龙虾看懂屏幕！谷歌多模态新成果，文本图像视频音频进同一空间

谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。

智能机流行带来蓝光伤眼问题，手机屏幕技术变革，引入屏下光谱传感。艾迈斯欧司朗举办论坛分享成果，其开发的OLED屏下光谱颜色传感器，能精准重构XYZ响应，解决行业难题，获多方认可。

BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。

中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。

OpenAI发论文揭示语言模型出现幻觉的根本原因，即训练和评估过程奖励猜测而非承认不确定性。预训练阶段就埋下幻觉种子，后训练阶段‘考试机制’强化幻觉，还给出改评分规则的解法。

2025年‘世界模型’成AI巨头战场，谷歌、李飞飞团队等纷纷布局。上周北京智源研究院发布Emu3.5，340亿参数，基于790年长视频数据训练，其架构优越，推理快，能力强，还公开技术报告邀全球探索。

超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。

当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。

来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。

Anthropic 上线 Claude Tag，可让团队在 Slack 与 Claude 协作，能完成写 PR、数据分析等任务，有多人协作、积累上下文等特点。Karpathy 认为这是大模型 UI 第三次大改，但评论区有质疑，不过有大咖背书或成‘数字员工’。