「Transformer网络」共找到 513 篇相关文章
一句话生成任务专属LoRA！Transformer作者创业公司颠覆LLM微调
Transformer作者之一创立的SakanaAI推出Text-to-LoRA（T2L），简化模型适配流程，省却繁琐微调。T2L参数压缩率达80%仅降1.2%准确率，零样本场景平均准确率78.3%超现有SOTA方法，开启“一句话定制模型”时代。
用Rust重写OpenClaw，Transformer作者下场造了安全版「龙虾」
Transformer八子之一Illia Polosukhin用Rust构建安全版OpenClaw——IronClaw。他指出OpenClaw有数据和资金安全风险，IronClaw以安全为核心，有多项安全设计，未来还会增加策略验证等能力。
无Tokenizer时代真要来了？Mamba作者再发颠覆性论文，挑战Transformer
Mamba作者之一Albert Gu参与的论文提出分层网络H - Net，用动态分块取代tokenization。Tokenization虽能压缩序列但有缺点，H - Net在多方面表现出色，或预示无需Tokenizer训练时代到来。
老牌Transformer杀手在ICLR悄然更新：Mamba-3三大改进趋近设计完全体
Transformer架构仍是AI主流，Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审，有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进，实证表现佳，适合多场景。
InfoDeepSeek：首个开放网络环境下的智能体信息搜寻质量评估基准
上海交通大学与华为诺亚方舟实验室联合推出InfoDeepSeek，它是首个评估真实动态网络环境下智能体信息搜寻质量的基准。该基准有挑战性问题、真实动态环境等亮点，还开展实验揭示智能体行为特性。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
Docker Desktop 4.42 发布，带来原生 IPv6、集成的 MCP 工具包以及 AI 模型打包功能
Docker 公司发布 Docker Desktop 4.42 版本，增强网络灵活性、AI 工作流集成和模型分发功能，如新支持原生 IPv6、集成 MCP 工具包等。但 macOS 用户反馈稳定性下降，有启动、网络等问题。
POF | 上海理工大学梁梓浩、朱兵等：使用大语言模型进行气泡湍流实验数据处理
本文提出结合大语言模型（Time - LLM）与Transformer模型的复合框架处理气泡两相流热膜测量信号干扰。先由Time - LLM识别气泡干扰信号，再用Transformer模型修复。实验证明该方法高效、轻量且物理自洽。