搜索：多模态指令数据合成

「多模态指令数据合成」共找到 3391 篇相关文章

两个哈佛女生用AI做电池故障排查，数月的工作量被缩到了几分钟

哈佛毕业女生 Eva Tuecke 和 Catherine Yeo 创立 Altara 公司，获 700 万美元种子轮融资。其系统能整合电池等物理科学领域分散数据，将故障排查时间从数月缩至几分钟，还能确保输出可审查，适应不同机构需求。

4月29日，数字感知芯片技术全国重点实验室联合中星微团队发布‘星元智能体’。它基于XPU芯片，完成从芯片到智能体跨越，架构创新破算力瓶颈，还破解数据困局，已在多地试点，未来将推动AI产业发展。

文章聚焦Infinity-Parser，指出它把OCR从‘做识别’推进到‘做结构’。它采用layoutRL强化学习框架，结合真实与合成数据构建Infinity-Doc。跑分强且复杂结构表现优，透露Document AI向结构化生成转变趋势。

香港浸会大学联合腾讯优图实验室提出 Streamo，将‘何时回答’变为模型预测的 token，通过端到端训练框架把离线视频模型转化为实时流视频助手，还构建 Streamo - Instruct - 465K 数据集，实验效果良好。

一篇51页论文研究主要智能体，指出适应性是关键。它提出2×2分类框架将适应方法分四大范式，还明确不同范式优缺点，发现T2范式数据效率远超A2。最后点明Agent适应性研究的四个前沿方向。

语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。

Vibecoding是开发者追寻的理想境界，但常被各种‘摩擦力’打断。PolarDB Supabase提供‘零摩擦’后端基础，通过MCP Server填平前后端断层，还能与Qoder、bolt.diy集成，提升开发效率，文末介绍其构建图数据分析应用方案。

作者测试发现Grok4、OpenAI o3等多模态模型都将六指图数成五指，仅Claude 4偶尔答对。研究揭示大模型看图片用记忆而非视觉，易受刻板印象影响，在工业等场景或引发严重后果。

复旦大学和字节跳动团队联合提出CreatiDesign新模型，可实现高精度、多模态、可编辑的AI图形设计生成。它解决了以往方法在处理图形设计时的难题，在多维度评估基准上表现出色，还支持多轮编辑。

HunyuanVideo-Avatar 是腾讯混元团队最新开放的多模态数字人生成模型。上传一张人物图片，再配上一段音频，模型即可在约 14 秒内输出分辨率最高 720p、情绪可控、动作丰富且支持多角色同屏的短视频。