搜索：多模态指令数据合成

「多模态指令数据合成」共找到 3388 篇相关文章

250份文档“毒晕”大模型！无论规模大小统统中招

Claude母公司Anthropic联合两大机构研究发现，仅250份恶意文档就能在不同规模大模型植入“后门”漏洞，打破以往对大模型数据中毒的认知，给厂商防御敲响警钟。

前谷歌DeepMind资深研究员Dustin Tran加盟xAI，他是Gemini共同创造者，助谷歌追回AI风口。Tran介绍跳槽原因，涉及算力、数据和认同马斯克理念，还补刀OpenAI点子库存见底。

OpenAI和Anthropic完成联合评估，用内部工具测对方模型并公开结果。测试覆盖指令层级、越狱等四大领域，还发现不少细节和道德困境情况。此次合作意义重大，为行业树立安全合作先例。

今天凌晨谷歌Deepmind发布编程AI Agent——AlphaEvolve，它与Gemini深度集成，能评估算法。它解决了300多年的数学难题，还提出新算法，提升大模型计算效率，可优化GPU指令，架构含多模块。

现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。

阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。

过去文生图多是‘直接出图’，遇真实世界知识等易翻车。港中文等团队提出Gen - Searcher，让图像生成模型像Agent一样搜索等，数据、模型和代码均已开源，实验显示它提升了生图准确性和质量。

用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

港大、NVIDIA和清华联合团队提出AMS统一人形机器人全身控制框架，首次在单一策略实现动态运动跟踪和极限平衡控制。通过异构数据源、混合奖励机制和自适应学习策略，解决数据限制和优化目标冲突问题。