搜索：多模态开发 - AI Reading Hub

「多模态开发」共找到 2449 篇相关文章

LightX2V Ulysses Attention 实现学习笔记

本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。

北京时间今天凌晨，英伟达在CES现场发布Alpamayo系列开源AI模型、仿真工具及数据集，旨在推动推理型自动驾驶汽车开发。其核心模型Alpamayo 1可展示决策逻辑，此次发布是英伟达在该领域开放程度最高的尝试。

10月30日彭博社报道，英伟达拟最高投10亿美元给AI创企Poolside，此轮融资或使其估值翻四倍。该公司由微软技术大佬带队，开发AI编码助手，创建强化学习法训练模型，从底层自研，有独特优势。

QuestA通过在训练中注入解题提示，实现两项成果：在1.5B模型上实现Pass@1的SOTA性能，还提升了Pass@k性能。它解决了RL训练中简单与困难任务的权衡问题，为开发强推理模型打开大门。

在 QCon 全球软件开发大会（北京站）上，数势科技 AI 负责人李飞分享了企业级智能分析架构演进与实践。探讨了智能分析落地问题，介绍 Agent 结合数据分析优势、技术路线及落地要点，还对 Agent 发展给出思考与展望。

作者黄叔分享科研成果Spec Coding，称Vibe Coding已死，因其Prompt易逝、迭代混乱。Spec Coding复杂度高于提示词工程，文中给出从0到1及迭代的提示词和步骤，还提及额外好处及理念特性。

OpenAI与Retro Bio合作开发的GPT‑4b micro，是专为蛋白质工程设计的GPT-4o微型版本。它改进诺奖获奖蛋白变体，将干细胞重编程标记物表达量提升50倍，还能减少DNA损伤，研究团队公布更多突破细节。

今日凌晨，OpenAI的Sam Altman晒出GPT - 5实测问答图，意味着其基本完成基础开发，很快发布。不过其回答与其他模型差异不大，但爆料称它代码和商业化能力强，网友对此看法不一，还猜测其对SaaS行业的影响。

GPT-4o引爆全球「吉卜力风格」风潮后，其核心成员华南理工学霸Lu Liu与伯克利博士Allan Jabri跳槽Meta。此前他们在OpenAI主导多模态AI研究，与奥特曼同台展示关键功能，此次挖角凸显OpenAI人才流失危机。

NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。