「LLM式视觉编码器」共找到 1608 篇相关文章
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
Claude设计师被工程师卷到掉队，反手造出百万用户工具
Anthropic产品设计师Nate Parrott复盘Claude Design诞生过程。起初他在工作中被工程师拉开差距，利用业余时间捣鼓出这一工具。它以HTML为突破口，融入品牌系统，从副项目转正，定位前期视觉沟通。
刚刚，DeepSeek全新多模态技术开源！
DeepSeek联合北大、清华开源多模态技术及论文，提出“视觉基元推理”框架，解决MLLM指代鸿沟问题。基于DeepSeek - V4 - Flash构建的模型，性能比肩GPT - 5.4等。论文还介绍架构、训练流程等。
让AI像人类画家一样边画边想，港中文&美团让模型「走一步看一步」
在文生图和视频生成领域，现有模型处理复杂任务常出错。港中文和美团团队提出TwiG范式，将视觉生成拆解为“生成-思考-再生成”循环，经实验验证有效，有望拓展到更多领域。
自动化浏览器
Skyvern是能自动化浏览器操作的工具，底层靠大语言模型和计算机视觉。它提供简单API接口，可在大量网站自动化手动操作，替代易出错的自动化方案。介绍了其原理、使用方法、功能等。
MCP协议曝出大漏洞：会泄露整个数据库
最新研究显示，MCP协议存在重大漏洞，攻击者可利用LLM的指令/数据混淆漏洞直接访问数据库。研究者基于Supabase搭建系统演示攻击过程，还给出降低风险的解决措施。
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
剑桥、伦敦大学学院和谷歌团队推出基于强化学习的视觉规划（VPRL）新范式，纯靠图像推理。新框架利用GRPO后训练，准确率达80%，超文本推理至少40%，代码已开源。
Claude Opus 4.7 发布！留给人类的时间，不多了
Anthropic 发布 Claude Opus 4.7，核心升级是让 AI 跑长且复杂任务，还能自我验证结果。它视觉能力超强，编程能力提升，新增 /ultrareview 功能，API 多了调节档，不过 token 数量或增加，成本可能上浮。
所有Harness终将长成“龙虾”，但最后活下来的只有几只
在用户需求驱动下，工具从 LLM 向 Agent、Harness 再到 Claw 自然进化，但用户能容纳的 Claw 有限。Sam Bhagwat 拆解进化路径，指出各阶段核心竞争力，开发者应抢占用户心智空间。
The Batch: 972｜Grok 的 Cursor 联盟获得回报
SpaceXAI发布与Cursor联合开发的视觉 - 语言模型Grok 4.6，已向开发者开放。介绍其输入/输出、特性等信息，阐述工作原理、性能表现，还提及相关新闻背景、重要原因及期望。