「LLM式视觉编码器」共找到 1608 篇相关文章
Gemini负责人爆料！多模态统一token表示，视觉至关重要
Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
见微知著：LLM 奖励建模的「Analytic Rubric」范式全面综述
该文是对LLM奖励建模的「Analytic Rubric」范式的全面综述。介绍了Rubric概念来源，指出传统奖励模型存在对齐风险，而Rubric RM在多方面取得平衡，还阐述其工作流、各维度研究情况及面临的挑战。
思维锚点：破解LLM Reasoning黑箱的关键句
文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。
One RL to See Them All？一个强化学习统一视觉-语言任务！
国内初创公司 MiniMax 提出 V-Triune 系统，可让 VLM 单一训练流程学视觉推理和感知任务。它含三个组件与动态 IoU 奖励机制，基于此的 Orsta 模型在多项测试中性能提升显著，凸显统一 RL 方法有效性和可扩展性。
LLM抢人血案：强化学习天才被挖空，一朝沦为「无人区」！
斯坦福AI+CS博士Joseph Suarez回顾强化学习历史，指出其曾因学术短视、学界追名逐利走向衰落。如今他坚持用小模型从零开始的RL，重建标准，让研究速度和效果大幅提升。
Nature子刊：攻克医疗器械「看不清」难题，赋予自动驾驶视觉
MicroSyn-X首创无需真实数据的AI合成影像技术，让机器在无标注虚拟X光中学会追踪微型手术器械，突破医疗数据稀缺瓶颈，为自动化微创手术提供新路径，且代码和数据已开源。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。