「全注意力残差」共找到 2026 篇相关文章
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。
Google全链路赋能出海：3人团队调度千个智能体，可成独角兽｜MEET2026
在量子位MEET2026大会上，Google Cloud大中华区负责人Dennis Yue称智能体为初创出海注入新内涵。谷歌推一体化方案全链路赋能，还谈到Gemini 3突破、A2A协议及商业模式转变等。
LLaVA-OneVision-1.5全流程开源，8B模型预训练只需4天、1.6万美元
灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5，全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元，在多模态基准上性能优，还公开数据构建与训练策略等细节，复现简单。
Github 3.6k star，爆火开源「小红书 MCP」：一键登录、图文发布、搜索、评论全搞定
`xiaohongshu-mcp`把浏览器手工步骤封装成可编排工具，以Go编写，能在无头/有界面模式间切换。它解决小红书运营多痛点，如登录不稳、发帖链路长等，覆盖登录、发帖等全链路，适配多客户端，值得收藏上手。
上海AI实验室发布 Intern Lumina U2：全离散扩散建模，让模型既能“看懂”也能“生成”
上海人工智能实验室发布新一代多模态统一模型 Intern Lumina U2，基于全离散扩散建模路线，支持多任务，适配两大硬件生态，在昇腾千卡级集群训练效率提升 1.85 倍，性能优异且将开放资源。
刚刚，全球首个AI科学家登上Nature！包揽提出idea到写论文全流程，已通过人类盲审
历经一年半研发，Sakana AI联合多高校打造的AI科学家系统登上Nature杂志。该系统能自主完成科研全流程，代码和论文已开源。还介绍了自动审稿人、缩放定律，也指出其局限，引发伦理探讨。
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
30.9K Star牛啊！！再见了PD，不越狱也能装，支持几十种系统，苹果全设备通用！
在苹果生态运行其他系统，Parallels Desktop 收费且移动设备难装。开源工具 UTM 免费，基于 QEMU 构建，支持多架构和系统，操作界面简洁，外围设备支持强，苹果全设备通用。
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。