「多模态RoPE」共找到 934 篇相关文章
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
把视频变成图文博客：Agent + 豆包 Seed2.0 lite 重做 Karpathy 两年前的工作流
本文以重做 Karpathy 两年前工作流为例，介绍用 Agent + 豆包 Seed2.0 lite 将视频转为图文博客的方法。详述四步流程，指出其局限，还说明该模式可用于竞品直播追踪、在线课堂报告、游戏赛后复盘等场景。
突破视觉仿真算力瓶颈！新一代具身智能仿真框架开源：高吞吐并行高保真渲染助力规模化训练
具身人工智能向以视觉为中心转型，但面临“看得真”和“训得快”难题。清华大学智能产业研究院等提出GS - Playground通用多模态仿真框架，融合高吞吐量并行物理仿真与高保真视觉渲染，成果被RSS 2026录用，将开源。
Kimi K2.5登顶开源第一！15T数据训练秘籍公开，杨植麟剧透K3
Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。
DeepSeek-OCR 2再进化，对图像理解已经像人一样逻辑推理了
DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。
中英双语、29项第一、像素级理解：360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。
阿里发布Qwen3-TTS：跨语言混合无缝切换，方言音色全面覆盖！
TTS技术从单一合成进化到多模态表达，但传统模型在跨语言/方言混合场景有不足，商业工具费用高且不开源，开源方案训练数据少。阿里推出Qwen3 - TTS，实现人类级自然度和表现力，功能强大，应用场景多。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
国内首套：港中文团队发布7模态人体动作数据集，揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集，成果被 ACM MobiSys 2026 接收。用其测试主流大模型，发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规，还开展了基准测试。