「多模态论文」共找到 1879 篇相关文章
System 3 觉醒：从“工具”到“物种”的根本改变
西湖大学与上海交大新论文提出System 3概念及Sophia框架，将认知心理学概念映射到代码模块，让AI Agent像“生命体”生存。采用前向学习和混合奖励机制，实验显示其能力显著进化，为人工生命指明道路。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
ClockBench：一个简单的钟表测试让AI全线溃败
ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。
Theory of Agent：构造知行合一的智能体
当前AI（如ChatGPT）存在行为随机性、效率黑洞等问题，论文指出AI缺乏认知地基，需明确认知框架。还提出革命性等式“推理 = 行动”，分析了知识与决策边界，给出最优行为四象限，介绍落地路径和未来发展方向。
火了！刚刚，李飞飞2篇最新文章发布！
AI圈近期被李飞飞两篇重磅文章刷屏，一篇阐述空间智能愿景，指出当前AI缺乏空间智能，其创办的World Labs提出世界模型；另一篇论文揭示当前视频理解基准自欺欺人，还提出新基准VSI - SUPER及预测性感知新范式。
百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流
百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。
昆仑万维多模态视频生成开源，影音图文全统一
昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。
AI 真能看懂物理世界吗？FysicsWorld：填补全模态交互与物理感知评测的空白
多模态大语言模型正经历范式转变，目标是实现全模态协同交互。但现有评测体系难跟上模型发展。飞捷科思和复旦团队推出 FysicsWorld 基准，可评测模型多能力，还提出 CMCS 策略，为全模态智能发展提供指引。
按token 计费，真的合理吗？
马克斯·普朗克软件系统研究所论文揭露，同样文本可被切分成不同数量token，用户难以验证是否被多收费。研究团队开发算法展示服务商多收费手段，还指出按字符计费可解决问题，但需行业达成共识。
Anthropic CEO：模型可在一亿上下文窗口中学习，且不改变权重，未来AI将每月10万美元
Anthropic CEO Dario Amodei预测几年内将出现月费10万美元、支持1亿词上下文窗口的AI模型。Google Research论文揭示LLM能在不改变权重下，通过「临时便签」机制学习，还介绍了其原理与实验验证。