「自注意力层」共找到 1530 篇相关文章
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
最近 AI 前端这块，我先做了个盘点：截图、Figma、MCP、Skills
文章盘点了AI前端相关内容，介绍Skills各指导层及执行增强层、样本资产层特点，还分析AGENTS.md、DESIGN.md等6种事物争夺AI前端中间层解释权的情况，指出不同介质切分链条不同截面。
5Y News｜GIM 完成数千万元天使轮融资
日前，GIM宣布完成数千万元天使轮融资，由五源资本与Monolith投资。资金用于自研金融大模型迭代等。其定位自进化智能体投资平台，已推自研金融时序大模型，未来将推基金策略与产品。
EvoSkills：自进化的skill，是好skill
文章分享两项Agent Skill最新研究论文，指出智能体技能从手工制作向自动进化转变。介绍EvoSkills和EvoSkill两种自动化Skill进化方案，对比其机制、验证方式等，还提及未来研究方向。
一篇Loop+Harness的自进化Agent最新综述
本文分享清华关于经验时代，已部署的 Agent 如何将交互轨迹转化为持久能力，从自我进化到元进化的论文。介绍了 Harness、技能、记忆、环境等方面，还提及 RL 与持续学习、元进化智能体等内容。
DeepSeekHarness被骂自嗨，还是Agent界Android？
DeepSeek Harness 评论两极分化，有人赞其为‘Agent 界的 Android’，也有人批其‘自嗨’。若将其视为 Agent Runtime 架构实验，它值得拆解。它以‘一切皆插件’理念设计，有诸多独特架构特点。
刚刚！微软 | 发布全新一代自研AI芯片Maia 200
微软提前发布自研AI芯片Maia 200，基于台积电3纳米工艺，性能超竞品，是其异构AI基础设施重要部分，将支持多个大模型，已部署在美中数据中心，还开放Maia SDK预览。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
阿里 Qoder 把这层 AI 编程的窗户纸捅破了
2025年大模型下沉到应用层，浏览器和编程工具被重新发明。阿里新发布的Agentic编程平台Qoder，增强对巨大代码工程理解能力和代码生成准确率，其上下文工程观是突破，新引入的Quest Mode很独特。
Harness Engineering 实践：Fitness Function 如何成为 AI 交付的防腐层
文章探讨 Harness Engineering 实践中，Fitness Function 如何成为 AI 交付防腐层。指出在 AI Agent 参与开发时，判断任务完成是难题，介绍 Routa 项目构建 Fitness 架构及规则执行等实践。