搜索：LLM式视觉编码器

「LLM式视觉编码器」共找到 1608 篇相关文章

刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈

为争夺有限GPU，OpenAI内部争斗激烈，2024年算力投入70亿美元仍不够。微软发布全球首台GB300超算专供OpenAI，可让万亿LLM数天训完。OpenAI建立资源分配机制应对挑战。

数据使用麻烦，存在“数据鸿沟”。开源项目SQLBot基于LLM和RAG技术，能用大白话查询数据库，将问题转成SQL执行并可视化呈现结果，功能实用，部署简单，降低了数据分析门槛。

自LLM进入Agent时代，记忆模块成研究重点。以往研究有缺憾，作者提出全面AI记忆研究框架，对记忆表示分类，引入六种基本记忆操作，并映射到多方面，还阐述各部分具体方法。

8月初Andrej Karpathy指出通用AI做游戏时，LLM无法高效审查工作的弱点。而国产平台Spellcaster能先解析自然语言确定游戏设计，15分钟出包，还内置测试员验证，团队想工程化落地新方向。

文章介绍开源项目One API，它是LLM API管理与分发系统，能统一管理主流AI模型，用一个接口搞定调用。有友好界面和可视化操作，在Github获26.5K star，还介绍其性能特色、安装使用方法。

近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。

上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。

Hugging Face悄悄上线一批免费AI课程，还带认证证书。课程从大语言模型到扩散模型，从计算机视觉到游戏AI，覆盖面广。完成课程可拿证书，还能在平台分享成果，是学习AI的好机会。

多轮视觉问答成LVLM推理效率“照妖镜”，现有压缩方法在多轮场景翻车。浙大宋明黎教授团队与阿里联合提出MetaCompress框架，可根据图像生成最优压缩映射，实验验证其效果优，能平衡压缩率与精度。

面对陌生的GitHub项目，直接把代码扔给AI效果不佳。而`Gitingest`这款开源工具，能将Git仓库转化为适合LLM处理的文本摘要，适配各类AI助手输入需求，使用方式灵活，在GitHub上很受欢迎。