「Free Transformer」共找到 253 篇相关文章
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
超越Claude Mythos和GPT-5.5！斯坦福Agent验证框架拿下SOTA，Transformer作者转发
斯坦福、伯克利与英伟达联手打造LLM-as-a-Verifier验证框架，该方法是通用验证机制，可与任意Agent Harness和模型结合。研究表明扩展验证阶段计算量，能提升Agent整体性能，在多基准测试中超越Claude Mythos和GPT - 5.5。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
文章介绍Embedding基础知识，从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术，如TF - IDF、word2vec、BERT等，还剖析DS - Qwen1.5B的Embedding并以图展示。
Transformer开始构建三维世界：开源模型几张图片秒级生成可探索3D场景
影溯将最新研究成果做成免费3D捕捉工具Crystal空间相机，背后技术QuerySplat已开源。其模型Topos - Lite改变组织三维空间方式，少量图片就能秒级生成3D场景，还能扩展容量。影溯团队经验丰富，技术应用场景广。
何恺明团队重磅新作：去掉VAE，无需Tokenizer，纯Transformer预测数据比预测噪声更高效
麻省理工学院何恺明团队发布颠覆性研究，指出主流扩散生成模型未做好去噪工作，回归洁净数据预测才是高维像素生成正解。团队设计实验验证观点，提出极简架构JiT，展现优越性能与扩展能力。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
从Transformer到Agent：生成式AI行业技术路线与职业发展指南，深度解析AI价值链
文章深度解析生成式AI行业，介绍其宏观图景、商业运作、行业定位与战略考量。指出行业价值链呈“杠铃”形态，应用层机会大，还提及盈利模式、岗位薪酬、开源闭源之争等，为从业者提供职业指南。
OpenAI资深研究科学家、Transformer联合作者Łukasz Kaiser领衔，2026 奇点智能大会·北京站正式官宣
2026年，Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日，奇点智能大会北京站将举行，两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲，会议汇聚专家探讨AI前沿与底层技术。