搜索：视觉文本压缩

「视觉文本压缩」共找到 1202 篇相关文章

ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。

清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。

文章指出早期人与人靠体力拉开差距，工业革命后比拼脑力，AI 时代脑力被大模型拿走，人将比较心力。面对 AI 生成的海量文本，可视化或为解决脑力理解带宽瓶颈的解药，还给出了相关 Prompt。

多模态大模型中“潜在视觉推理”概念很火，研究者让模型在潜在空间“想象”。但清华和北交学者论文指出，潜在 Token 不关心输入、不影响输出、没信息量。作者提出 CapImagine 方案，效果远超潜在空间方法。

LMArena最新榜单显示，腾讯「混元图像3.0」在文生图任务中夺冠，碾压谷歌Nano banana和字节Seedream 4。它9月28日开源，性能对标闭源模型，有强大推理、语义理解能力，支持中英文长文本渲染。

Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。

Claude Code 强大源于其强大模型基础、丰富实用的内置工具、不压缩上下文信息及无 IDE 包袱等优势。相比之下，OpenAI 的 Codex 因模型能力、强化训练不足等落后，Anthropic 还靠亏本推广积累数据。

在Sequoia Ascent峰会上，AI先驱Andrej Karpathy分享对2026年技术浪潮思考。他认为LLM是新物种，让部分旧软件多余，未来软件接口或为说明文本，还谈及模型能力不均匀性、创业机会、智能体经济及人类价值。

Meta推出WorldGen，可根据文本提示生成可探索的3D世界。它融合多项技术，能生成50×50米完整纹理化场景，保持风格与几何一致。虽处于研究阶段，但成果可兼容主流游戏引擎，有降本增效潜力。