「多模态DiT架构」共找到 2604 篇相关文章
行业新突破：行为基础模型可实现高效的人形机器人全身控制
该综述聚焦行为基础模型（BFM）在人形机器人全身控制中的应用，梳理进展并分类算法，介绍应用与限制，还探讨未来研究机会与风险，有望引导该领域研究者和从业者。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢，介绍其数据体系、清洗流程及四阶段强化训练方法。
Meta为他豪掷2亿美元，上交校友庞若鸣，晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta，Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》，介绍了AXLearn系统优势、架构、实验评估等。
5.8k Star 基于LangGraph的Multi-Agents炒股框架，7种Agent形成金融交易闭环
TradingAgents是模拟真实交易公司运作的多智能体交易框架，用LangGraph构建，有灵活性与模块化特点。由7种LLM驱动的专业智能体协同评估市场、制定决策，还介绍了架构和实战操作。
开源端到端语音大模型：直接从原始音频输入，生成语音输出
目前大模型大多只能输出文本，人机音频交互不顺畅。Step - Audio团队开源端到端语音大模型Step - Audio - AQAA，能直接听懂音频问题并合成语音回答，介绍了其架构和各核心模块。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
从0到1拆解FreeWheel ChatBI：大模型如何重塑视频广告智能数据分析新生态
本文结合 FreeWheel 实际应用经验，分享构建 ChatBI 系统核心实践。介绍其核心功能、技术实践，如让 LLM 理解业务、智能选表等，还提及系统架构、算法服务，最后总结上线效果并展望未来优化方向。
Agent性能暴涨90%，刷榜GAIA可太容易了～
今年AI Agent层出不穷，当前研究缺乏统一标准、复现难。oppo Agent团队分享构建高效Agent的关键组件及刷榜GAIA的方法，从事实获取能力和逻辑推理保真度两维度分析，介绍了强化感知和提升思维的策略。
抢先OpenAI？AIUI全新升级燃爆22亿终端，国内大厂定义智能交互
科大讯飞围绕智能交互场景，对AIUI、机器人超脑等4大平台全面升级。其AIUI以大模型为引擎，有儿童专属交互方案，还推出智能眼镜“三麦阵列”等，各平台在多领域应用成果显著。
GPT-4o连验证码都解不了？？SOTA模型成功率仅40%
MetaAgentX团队推出Open CaptchaWorld平台，用于测试Agent解验证码能力。实测SOTA多模态模型成功率低，如GPT - 4o也被难住。该平台特点多样，揭示了当前Agent短板及模型设计新方向。