「Transformer层」共找到 535 篇相关文章
最近 AI 前端这块，我先做了个盘点：截图、Figma、MCP、Skills
文章盘点了AI前端相关内容，介绍Skills各指导层及执行增强层、样本资产层特点，还分析AGENTS.md、DESIGN.md等6种事物争夺AI前端中间层解释权的情况，指出不同介质切分链条不同截面。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
钢铁版OpenClaw，Transformer作者用Rust打造，告别数据裸奔
OpenClaw开源后虽发展迅速，但存在严重安全问题，如数据明文处理、隐私保护缺失、恶意组件等。Transformer论文作者Illia Polosukhin用Rust打造IronClaw，重构底层架构，升级记忆引擎，还指向去中心化经济。
阿里 Qoder 把这层 AI 编程的窗户纸捅破了
2025年大模型下沉到应用层，浏览器和编程工具被重新发明。阿里新发布的Agentic编程平台Qoder，增强对巨大代码工程理解能力和代码生成准确率，其上下文工程观是突破，新引入的Quest Mode很独特。
Harness Engineering 实践：Fitness Function 如何成为 AI 交付的防腐层
文章探讨 Harness Engineering 实践中，Fitness Function 如何成为 AI 交付防腐层。指出在 AI Agent 参与开发时，判断任务完成是难题，介绍 Routa 项目构建 Fitness 架构及规则执行等实践。
一句话生成任务专属LoRA！Transformer作者创业公司颠覆LLM微调
Transformer作者之一创立的SakanaAI推出Text-to-LoRA（T2L），简化模型适配流程，省却繁琐微调。T2L参数压缩率达80%仅降1.2%准确率，零样本场景平均准确率78.3%超现有SOTA方法，开启“一句话定制模型”时代。
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
用Rust重写OpenClaw，Transformer作者下场造了安全版「龙虾」
Transformer八子之一Illia Polosukhin用Rust构建安全版OpenClaw——IronClaw。他指出OpenClaw有数据和资金安全风险，IronClaw以安全为核心，有多项安全设计，未来还会增加策略验证等能力。
27亿美元天价回归！谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步
在Hot Chips 2025上，Transformer发明者之一、谷歌Gemini联合负责人Noam Shazeer指出LLM发展需更多算力、内存等硬件支持。微软AI的CEO Mustafa Suleyman预测2026年底前LLM或成“行动型AI”，还提及失业潮等问题。