「多模态编程」共找到 1959 篇相关文章
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
豆包 AI 编程：一句话写赛博鱼缸，动嘴皮改富士滤镜
豆包发布全新模型 1.6 后，AI 编程更新，基于此模型在评测集位列第一梯队。它实现低门槛+可用性，能一句话生成网站、工具，还可可视化编辑，目标是让普通人能做产品。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
12个Ai编程Agent同台PK，最贵的不一定是最强的
上海交大和美团联合发布PRDBench论文，将12个主流AI编程Agent放入50个真实Python项目测试。结果显示，基础模型写代码强，商业版调试优势明显；专门训练的裁判模型比通用大模型靠谱。
Cursor、OpenClaw 同时出手，“口袋编程”时代来了：程序员只用“动嘴”！
Cursor 推出 iOS 移动应用 Cursor Mobile，与桌面版打通，可远程管理编程智能体，还支持语音输入。OpenClaw 也官宣有原生移动应用，登陆 iOS 和安卓平台。这标志开发模式向移动化转变，但也有成本等问题。
OpenAI推出云端编程智能体Codex，进一步推动软件工程领域变革
OpenAI昨夜发布研究预览版Codex，一款集成在ChatGPT中的高级编码智能助理。它基于codex - 1模型，支持多种编程语言，有深度代码分析等核心功能，还有codex - mini - latest API版本，或重构软件开发行业。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
甲小姐对话柳钢：AI编程商业化的中国解法 | 甲子光年
AI编程赛道发展火热但商业化难题凸显，国内外市场境遇不同。极狐GitLab CEO柳钢将困境转化为突破口，推出驭码CodeRider。他认为用AI赚钱时代已到，还分享对产品、商业、开源等方面的看法。
AI编程真面目：完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。