搜索：视觉 - 语言智能体

「视觉 - 语言智能体」共找到 4659 篇相关文章

KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

商汤科技联合南洋理工大学发布NEO - unify，这是“原生、统一、端到端”多模态模型架构，砍掉VE和VAE，用混合变换器架构打通视觉与语言能力，提升数据与算力利用效率，为跨模态智能系统奠基。

阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。

大语言模型任务规划面临可扩展性和可迁移性挑战，华为新加坡团队提出 InstructRAG 方案，通过多智能体协同架构实现指令图扩展与少样本任务迁移，在多数据集测试中性能提升高达 19.2%。

阿里云RDS团队在发布「RDS AI助手」后，推出智能终端工具RDSAI-CLI。它融合大语言模型能力，将数据库命令行操作升级为意图式交互。该工具已开源，有基础与高级功能，未来还会持续优化。

苹果在WWDC开放本地语言模型API，让iPhone等有了“AI大脑”，但开发者面临模型运行慢问题。国产团队面壁智能发布MiniCPM 4.0，端侧处理长文本提速惊人，从多层面创新实现，还补上推理框架缺口。

OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。

8月20日，斯坦福大学吴佳俊在IJCAI 2026发表“计算机与思想奖”获奖演讲。他指出像素是表象，物理结构才是因果，提出以物理代码为桥，融合基础模型泛化力与物理模拟因果性，构建视觉与物理智能。

工程仿真里有限元方法常见，但计算与人力成本高。此研究提出把大语言模型变为计算机辅助工程智能体，开发不依赖训练数据的降阶求解器，在多问题上表现佳，为下一代计算机辅助工程提供框架。

宾夕法尼亚大学研究者提出 VLMgineer，一个全自动工具设计与使用框架，利用视觉语言模型和进化搜索，让机器人自主设计并使用工具。该工作已被 ICLR 2026 接收。实验显示，它在工具设计上优于人类提示和现有 Benchmark 工具。