「LLM式视觉编码器」共找到 1611 篇相关文章
Omni-Effects：首个统一多特效生成框架
Omni-Effects是面向多样化定制视觉特效生成的统一框架，结合纯提示词驱动与空间感知提示，可精确控制特效位置。构建Omni - VFX数据集验证其有效性，在复杂场景有高鲁棒性。
AI越训练，越会「满嘴跑火车」！普林伯克利重磅揭秘，RLHF竟是罪魁祸首？
普林斯顿和伯克利研究《Machine Bullshit》，定义并量化LLM胡扯行为，总结四大套路，提出胡扯指数。实验发现强化学习人类反馈训练后，AI胡扯倾向加重，多思考也会让其更会忽悠。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
ACL 2025 Oral | 你的模型评测搭子上线：Evaluation Agent懂你更懂AI
上海人工智能实验室与新加坡南洋理工大学合作研发 Evaluation Agent，它能按需评估视觉生成模型，有可定制、高效率等优势。框架分提案和执行两阶段，评估结果佳，未来将拓展功能。
开源端到端语音大模型：直接从原始音频输入，生成语音输出
目前大模型大多只能输出文本，人机音频交互不顺畅。Step - Audio团队开源端到端语音大模型Step - Audio - AQAA，能直接听懂音频问题并合成语音回答，介绍了其架构和各核心模块。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
文本分类重大创新：持续学习新增类别，不会灾难遗忘
在生成环境中，传统文本分类方法新增业务标签需从头训练，易致知识灾难性遗忘。今天介绍的自适应分类器，通过四项创新，可实现动态类添加和持续学习，而不会发生灾难性遗忘。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
Palo Alto5亿美元收购的Portect AI都有什么产品和技术？
2025年4月25日，Palo Alto Networks超5亿美元收购Protect AI，为客户提供端到端人工智能安全保障。Protect AI有两个开源软件ModalScan、LLM Guard和三个平台产品Gardian、Recon、Layer，防护方案完整。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。