「LLM式视觉编码器」共找到 1608 篇相关文章
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
挑战扩散自回归统治！字节提出视觉生成第三种路线，让模型像人类一样边画边改
五一期间字节商业化技术团队研发出新一代视觉生成模型，其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改，解决了现有模型的问题，在多项基准测试中刷新SOTA记录。
告别评估乱象！首个视觉解释综合性基准发布，附人类真值 | KDD'25
埃默里大学团队推出首个视觉解释基准Saliency - Bench，构建8个任务的数据集，提供标准化评估流程与开源工具包，解决评估缺乏标准等问题，推动可解释AI向可靠、透明发展。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
阿里安全AGI一次发布3款LLM，8B多维度领先GPT-5.4
近期，阿里安全AGI实验室发布3款Yuvion LLM，在AI安全与内容安全领域多维度领先。它以‘对抗即智能’为原则，构建五类数据体系，采用三阶段训练范式，通过YLRE四级评测体系验证能力。
看完Kimi K2.5技术报告，它的视觉Agentic真给我惊到了
Moonshot AI发布Kimi K2.5技术报告，该模型将文本和视觉打通，有并行执行的智能体集群系统。它采用Joint Training，提出“Zero-Vision SFT”，用MoonViT - 3D处理图像和视频，开源后受欢迎，展示通用智能体可能。
让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力
上海交大等团队推出多模态智能体训练方法 Visual-ARFT，让视觉语言模型有「工具智能体」能力，还开源项目。它能自动调用工具、拆解任务，团队构建 MAT-Bench 评测，其在多任务超 GPT-4o。
Salesforce 最新研究：LLM 智能体 CRM 测试成功率低至 35%，保密意识还低，企业敢用吗？
Salesforce AI 研究团队新基准测试显示，LLM 智能体在 CRM 测试中表现欠佳，单步任务成功率约 58%，多步任务降至 35%，且保密意识低，与企业需求差距大。
下一代目标检测模型：3B参数MLLM Rex-Omni首度超越Grounding DINO，统一10+视觉任务
IDEA研究院团队用3B参数的Rex - Omni打破MLLM目标定位精度僵局。它统一视觉任务，结合坐标编码与强化学习，在多项检测基准超Grounding DINO等，解决定位和行为缺陷，为MLLM成下一代检测模型提供方案。
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。