「多模态编程」共找到 1959 篇相关文章
构建分层的 Agentic RAG 系统:具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”,介绍 Protocol - H 架构,阐述组件、机制、实现与集成,经基准测试验证其优势,还提及未来研究方向。
ScreenCoder:视觉-代码对齐新范式,为多模态程序合成开辟道路
前端开发中UI转代码耗时易错,现有工具存在不足。ScreenCoder提出模块化多智能体框架,通过三阶段分工协作实现代码生成,还构建数据引擎推动VLMs进化,实验表现出色,为多模态程序合成开辟道路。
让龙虾看懂屏幕!谷歌多模态新成果,文本图像视频音频进同一空间
谷歌发布首个原生多模态嵌入模型Gemini Embedding 2,将文本、图像、视频、音频和文档映射进同一嵌入空间,支持多模态混合输入,为AI Agent“看懂”世界提供关键基础,已展开公测。
Science重磅:AI编程新手与资深开发者之间的差距巨大
《科学》杂志发表的AI编程全球调查研究显示,美国程序员提交的Python代码中29%由AI代笔,资深开发者借此拉大与新手差距。研究团队用GraphCodeBert模型分类器扫描代码,揭示技术扩散差异与隐忧。
全面评估多模态模型视频OCR能力,Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型(MLLM)视频OCR能力。构建精细任务体系和高质量数据集,评测18个主流MLLM。即便如Gemini - 2.5 Pro,准确率仅73.7%,暴露出MLLM在视频OCR领域能力局限。
阿里Qwen 3.7 Max:35小时自主编程,Claude跟不上了?
阿里云峰会发布的Qwen 3.7 Max,在优化平头哥芯片推理内核任务中,35小时让推理速度快10倍。它在多基准表现出色,编程、推理、办公自动化全面开花,但闭源且实验室场景与现实有差距。
刚刚,智谱开源了他们的最强多模态模型,GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V,后者为多模态模型,总参数106B,在42个评测基准中41个达到SOTA。经测试,它视觉推理强、速度快,还有视频理解等功能,API定价良心,体现持续开放精神。
RAG终极框架!港大开源RAG-Anything:统一多模态知识图谱
香港大学黄超教授团队发布开源项目RAG - Anything,构建统一多模态知识图谱架构,解决传统RAG技术局限。它能处理多类型异构内容,提供端到端方案,有多种优势及应用模式,还给出部署指南和未来展望。
商汤科技与南洋理工大开源空间智能多模态SOTA模型
商汤科技与南洋理工大学构建800万量级三维空间数据集,训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色,部分超越GPT - 5,还展现出泛化等能力,且能赋能具身智能。
告别碎片化日志:一套方案采集所有主流 AI 编程工具
在AI编程工具普及的当下,有效采集和分析AI代码生成数据成重要课题。该文介绍一套基于MCP架构的多AI工具代码采集方案,支持多种工具和操作系统,有轻量化、用户无感等特点,已和Aone合作。