「前端多模态智能」共找到 4261 篇相关文章
23.6K star！微软AI项目硬核开源，带飞你的电脑！
微软开源项目 `OmniParser` 是超级智能“数字助手”，能像人一样“看懂”屏幕元素并操作。它精准识别小图标、响应快、开发便捷、兼容大模型且跨平台，目前在Github获23.6K star。
告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统
现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。
OpenAI最新开发者“全家桶”：Apps SDK、Agent Builder、ChatKit深度解读与实测
长假期间，OpenAI在2025 DevDay宣布开发者生态重大升级，引入“Apps in ChatGPT”及其SDK和AgentKit工具集。文章深度解读Apps SDK、Agent Builder、ChatKit，介绍功能、使用方法和体验，还提及OpenAI的AI大平台战略。
AI圈“集体开大”！DeepSeek、Claude带头，智谱、阿里、蚂蚁、智源都“卷”起来了
双节前最后一天，AI圈“卷”疯了！智谱发布并开源GLM - 4.6，是国内最强Coding模型；阿里介绍视、听、说全模态同传大模型Qwen3 - LiveTranslate - Flash；蚂蚁开源万亿参数推理大模型Ring - 1T - preview；智源开源跨本体基座大模型RoboBrain - X0。
腾讯提出“我思故我玩”Agent：LLM构建推理与规划世界模型
腾讯与武大联合发表论文提出 CEL 新型 Agent 架构，通过 LLM 驱动两阶段循环实现“思考式学习”。它能填补传统方法短板，在小游戏实验中表现出色，有可解释性等优势，但也有实验环境局限等问题。
重磅！Claude Sonnet 4.5发布，可连续编程30小时，Claude Code同款构建工具也开放了
Anthropic发布Claude Sonnet 4.5，官方称是全球最强代码、复杂智能体构建及擅用计算机的模型。伴随产品全家桶升级，还开放Claude Code构建工具，发布Imagine with Claude。该模型能力强且更安全。
突发！Meta刚从OpenAI挖走了清华校友宋飏
刚刚，OpenAI前高层研究员宋飏加盟Meta Superintelligence Labs任研究负责人，向赵晟佳汇报。此次人事流动或透露出Meta在AI竞赛中释放的三重信号，如MSL人才拼图更完整等。
苹果传统强项再发力，视觉领域三种模态终于统一
苹果在大模型领域常受挫，但计算机视觉研究是其强项。其研究团队提出 ATOKEN，这是首个能在主要视觉模态统一处理的分词器，兼顾重建质量与语义理解，成果朝通用视觉表征迈进一步。
从 Shopify 构建 Agent 的经验中可以学到的
Shopify 分享构建 Agent 经验，采用主流 Agentic Loop 架构。给出4条打造 AI 智能体核心建议，还指出工具控制在20个内，可用 SubAgent 分摊上下文；用人类标记结果作基准让 LLM 评估 Agent 生成结果。