「多模态大型语言模型」共找到 1986 篇相关文章
腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!
腾讯开源Penguin - VL,直接用纯文本LLM训视觉编码器,跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强,训练分三阶段,相关代码、模型等已开放。
产业级 Agent 如何破局?百度吴健民:通用模型难“通吃”,垂直场景才是出路
InfoQ 采访百度吴健民探讨产业级 Agent 破局点。他指出 Agentic 模型训练卡点在真实环境复刻;通用模型难“通吃”,垂直场景定制模型是关键;多模态未实现统一建模,分开优化效果更好。
自动化浏览器
Skyvern是能自动化浏览器操作的工具,底层靠大语言模型和计算机视觉。它提供简单API接口,可在大量网站自动化手动操作,替代易出错的自动化方案。介绍了其原理、使用方法、功能等。
Nature重磅研究:大模型让你变得更聪明还是更笨了?创造力增强还是扼杀了?
《自然》研究表明,大语言模型对创造力的影响取决于任务。简单任务中,它像灵感助推器,分担认知负荷;复杂任务里,易致‘创意固化’,长期依赖还可能使大脑‘变懒’。需按需调节使用。
斩获6.1 star,再见Crontab!这款开源定时任务管理系统让运维更高效
Gocron是基于Go语言的轻量级定时任务管理系统,可替代Linux Crontab。它有可视化界面、秒级调度等功能,适用于自动化运维等场景,通过Docker一键部署,比同类项目更具优势。
96.6%召回率,0美元成本:这款开源AI记忆系统凭什么超越一切付费方案
AI记忆差困扰技术人,MemPalace开源AI记忆系统解决痛点。它可本地运行、0成本,召回率最高达100%,采用独特结构设计和AAAK语言,还能通过MCP提供工具能力,且团队诚实说明偏差。
真正能离线跑的完全开源翻译工具
Argos Translate是用Python写的开源离线翻译引擎,底层靠OpenNMT,推理用CTranslate2。可当库、命令行、桌面软件用,模型是本地zip包,不联网也能用。支持主流及小众语言,有多种使用方式。
最具争议性研究:大模型中间层输出可 100% 反推原始输入
意大利罗马第一大学GLADIA Research Lab论文提出主流Transformer语言模型信息处理几乎不丢内容,是可逆的。实验验证其单射性,SIPIT算法能100%重建输入。研究有新视角,但也引发讨论。
ICLR 2025新成果:文档检索“降本增效”,从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈,ColPali方法直接从文档页面图像生成多向量嵌入,简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
首个基因推理AI 横空出世!准确率飙至97%,彻底改变基因组学研究
多伦多大学等团队发布全球首个基因推理AI模型BioReason,将DNA基础模型与大语言模型融合,准确率从88%提至97%,可解释基因组变异致病机制,有望上线Hugging Face,应用前景广。