搜索：多尺度Transformer

「多尺度Transformer」共找到 4271 篇相关文章

【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

2026年ICLR最佳论文对Transformer做深度思维体检，指出其架构真正威力在于描述概念时比RNN等简洁指数级甚至双重指数级，但验证其内部逻辑计算成本高昂，为解释其能力开新窗。

弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。

Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。

Vibe-Trading 是 AI 驱动的多代理金融工作台，能将自然语言请求转化为交易策略等。它有自然语言转策略、多数据源、专家团队等核心能力，具备面向交易的深度研究等功能，还介绍了安装方式、环境变量和推荐模型。

Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。

Transformer之父之一Noam Shazeer告别谷歌转投OpenAI，任架构研究负责人。他是现代AI底层技术重要贡献者，谷歌曾花27亿请他回去，如今他的离开让谷歌痛失功臣，OpenAI野心尽显。

由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。

构建AI Agent时，单智能体应对复杂场景易“变笨”且难维护。LangChain官方评测主流多智能体架构，在复杂零售场景实验，对比单智能体、Swarm、Supervisor架构的性能、成本，还给出优化Supervisor架构的方法。

GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。