「注意力头」共找到 265 篇相关文章
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
两个Ilya的宿命轮回：老黄10亿美金开启赛博修仙！
OpenAI花1亿美金买Torch做「数据转接头」，想让ChatGPT成全科医生；Claude用超长文本窗口处理医学文献和数据。而NVIDIA投10亿与药企建实验室，用BioNeMo重写生命，开启药物生成新纪元。
十万美元的机械狗，正在“排泄”你的肖像！
迈阿密巴塞尔艺术展上，售价十万美元的《普通动物》由三只戴扎克伯格、马斯克和安迪·沃霍尔面具的机械狗组成，内置摄像头捕捉观众与环境，AI生成图像后“排泄”出实体作品，引发不同评价。
骨灰级克隆网站设计的开源项目
现在克隆网站设计常停留在截图和吸色，难以完全还原。designlang 项目用无头浏览器打开 URL，从实时 DOM 读取设计系统，输出多个文件，还能做到布局模式等其他提取器做不到的事。
不到一年ARR破亿元，GEO厂商智推时代获数千万元天使轮融资 | 甲子光年
近日，AI营销科技公司智推时代完成数千万元天使轮融资，将用于技术研发等。其成立一年多 ARR 破亿，服务近 400 家头部客户。自研 GENO 系统，与华东师大共建实验室，还布局全球市场。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
奥特曼「红色警戒」5个月后，GPT Image 2屠榜，断层领先反杀谷歌
被Google按了半年头，OpenAI祭出反杀。GPT Image 2上线12小时登顶Arena文生图榜，领先Nano Banana 2达241分。它是从零重构的通用模型，具备原生思考能力，或改写图像生成赛道规则。
GPU利用率不到15%，AI产业最大的浪费正在被这家公司改写｜甲子光年
AI产业发展中算力成本高、利用率低问题凸显。趋动科技押注‘软件定义GPU’，试图把独占GPU变为共享算力池，其产品使客户GPU利用率平均提升约4倍，已服务超200家头部客户。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。