「全注意力残差」共找到 2029 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
英伟达All in的物理AI路线，居然是中国黑马提前一年就定义好了
全球具身智能行业为技术路线争论时，中国深度机智率先提出并跑通「人类学习」路线，以人类数据为起点、动作建模为中心、机器人为AI而生，英伟达等跟进，深度机智全栈落地且进度领先。
Claude Opus 4.7来了，公开模型里的SOTA！不过用起来GPT味好浓
Anthropic推出Claude Opus 4.7，虽有像GPT的争议，但在多方面表现出色。它在高级软件工程、视觉能力等四大方向升级，且具备防护措施和记忆增强。全平台开放，与Opus 4.6同价，使用有注意事项。
谷歌营收被Nano Banana带飞！季度首破千亿美元，Gemini APP月活6.5亿
Nano Banana成爆款后，Gemini月活达6.5亿。AI业务带动下，谷歌季度营收首破千亿美元。谷歌CEO称全栈式AI策略推动增长，谷歌还将加码AI基建投资，且与能源企业合作重启核电站。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
新赋能•创生态 | 首钢园“产业跃升计划”发布会举办
在数字浪潮下，新质生产力成核心变量。5月28日，首钢园“产业跃升计划”发布会召开。其正构建“1+3+X”产业体系，园区已聚800余家科创企业。会上多位专家分享，还签约伙伴构建企业全生命周期服务体系。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
让AI当「动作导演」：腾讯混元动作大模型开源，听懂模糊指令，生成高质量3D角色动画
3D角色动画创作面临成本高、数据稀缺等问题。腾讯混元团队研发的混元Motion 1.0动作生成基础模型于2025年12月30日开源，通过全链路算法创新，为3D角色动画生成确立新技术范式。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。