搜索：视觉transformer

「视觉transformer」共找到 870 篇相关文章

豆包 Seed 2.0 来了：字节模型跨越鸿沟

春节前字节发布豆包大模型 2.0，其在 Text 领域进入榜单前十，视觉能力全球第四且成本低。它定位多模态 Agent 模型，有多种能力升级，文中用多个案例展示其强大，还强调字节重原生能力非简单蒸馏。

本文是GAIR Live 023圆桌对话实录，浙江大学彭思达与具身多模态算法专家郝孝帅探讨具身导航。涉及本质、范式、挑战、交互等方面，还对未来5 - 10年发展做了展望。

月之暗面团队海外AMA透露Kimi K3相关信息。K3或采用KDA架构，有低成本优势；通过开源解决信任问题；将推出不同规格模型；产品打磨注重写作、视觉能力及NSFW内容探索。Kimi性价比模式或改写行业规则。

美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni，它有端到端全模态架构，能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略，工程上有高效技术支撑，在多基准测试表现出色。

字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。

本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。

论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。

上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。

浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。

n8n由前《加勒比海盗》视觉设计师创立，从工作流自动化工具升级为AI应用编排层。8个月营收提4倍，正进行超1亿美元融资。它能与AI无缝集成，有活跃社区，在多场景应用广泛，不过用户多为技术人员。