搜索：多模态生成与理解统一

「多模态生成与理解统一」共找到 3442 篇相关文章

DeepSeek开源新模型，提出上下文光学压缩：LLM的新记忆方式

DeepSeek开源OCR模型，探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens，压缩比10倍、准确率97%。还提出模拟人类遗忘等想法，有多种应用场景，且完全开源。

香港中文大学推出基于游戏《Besiege》的测试平台BesiegeField，探讨LLM能否学会设计机器。研究通过组合式机器设计视角，测试LLM，提出多智能体迭代设计流程等，发现LLM有挑战但并非不可实现，如Gemini 2.5 Pro表现不错。

OpenAI发布工具集AgentKit，含可视化画布Agent Builder。LangChain创始人Harrison Chase锐评，市场不需要这种可视化工作流构建器，因其不是真正的Agent构建器，且面临高低复杂度问题挤压。

tRPC是腾讯内部覆盖最广的RPC开发框架，tRPC-Go使用最广。2023年起LLM发展迅速，Agent开发框架成重要基础设施。tRPC-Agent-Go集成LLM等，支持创建多种Agent，为开发者提供构建智能应用的完整技术栈。

灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5，全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元，在多模态基准上性能优，还公开数据构建与训练策略等细节，复现简单。

苹果发布基于流匹配的蛋白质折叠模型SimpleFold，被戏称“iFold”。它用通用Transformer模块搭配流匹配生成范式，3B参数版本追平谷歌AlphaFold2性能，还解决了传统模型算力依赖问题，效率高。

国产MiroMind公司在全球首个动态实时预测基准FutureX上夺冠，老板是陈天桥。其开源的MiroFlow v0.2智能体框架优势明显，能升级大模型能力，且成本低、可复现。MiroMind在预测赛道领先。

DeepResearch能递归拆解复杂任务自动生成报告，但OpenAI的相关产品费用高且闭源。霸榜GitHub的ROMA由Sentient AGI团队开发，性能超Grok - 4等，是开源杀手，还介绍了功能、使用方法和应用场景。

在新智元十周年峰会上，昆仑万维董事长方汉分享公司转型故事与多模态AGI见解。他认为通用Agent非万能，垂类推理数据是关键，还提出AI商业落地逻辑，展示多款产品成果。

YouTube在Shorts相机里实现AI实时「重绘」人脸，效果自然。它通过知识蒸馏将大模型「瘦身」成小模型，用迭代蒸馏打磨细节，PTI保证身份特征，MediaPipe搭建推理管道，还将拓展视频生成功能。