搜索：视觉-文本激活编辑

「视觉-文本激活编辑」共找到 1120 篇相关文章

ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。

模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。

文章指出早期人与人靠体力拉开差距，工业革命后比拼脑力，AI 时代脑力被大模型拿走，人将比较心力。面对 AI 生成的海量文本，可视化或为解决脑力理解带宽瓶颈的解药，还给出了相关 Prompt。

文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。

多模态大模型中“潜在视觉推理”概念很火，研究者让模型在潜在空间“想象”。但清华和北交学者论文指出，潜在 Token 不关心输入、不影响输出、没信息量。作者提出 CapImagine 方案，效果远超潜在空间方法。

LMArena最新榜单显示，腾讯「混元图像3.0」在文生图任务中夺冠，碾压谷歌Nano banana和字节Seedream 4。它9月28日开源，性能对标闭源模型，有强大推理、语义理解能力，支持中英文长文本渲染。

Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。

在Sequoia Ascent峰会上，AI先驱Andrej Karpathy分享对2026年技术浪潮思考。他认为LLM是新物种，让部分旧软件多余，未来软件接口或为说明文本，还谈及模型能力不均匀性、创业机会、智能体经济及人类价值。

Meta推出WorldGen，可根据文本提示生成可探索的3D世界。它融合多项技术，能生成50×50米完整纹理化场景，保持风格与几何一致。虽处于研究阶段，但成果可兼容主流游戏引擎，有降本增效潜力。