「全注意力残差」共找到 2032 篇相关文章
一文读懂DeepSeek-V3.2核心技术DSA:API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2,引入自研稀疏注意力机制DSA,API价格最高降75%。DSA先筛选后计算,含闪电索引器和稀疏多潜在注意力两组件,分四步工作,权衡了精确性与速度。
FlashAttention-4震撼来袭,原生支持Blackwell GPU,英伟达的护城河更深了?
在 Hot Chips 2025 上,TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4,其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%,还实现两项算法改进。该技术一直迭代升级,提升了注意力计算效率。
他想让TPU成为AI界的X86!
2026世界人工智能大会期间,中昊芯英主办分论坛,新一代全自研TPU架构AI芯片“须臾®”亮相,华东地区首个国产TPU智算千卡集群落成。“须臾®”算力强、成本低,集群全链路国产化,中昊芯英探索TPU突围路径。
6 个关键维度:如何把 OpenClaw 工程化为企业可控生产力平台。
文章探讨如何将 OpenClaw 工程化为企业可控生产力平台,从多租户与共享、安全管控、企业应用集成等六个维度进行系统化设计,给出不同场景适用模式及管控思路,助力其在企业安全、高效运行。
机器人全程自主收拾客厅!390亿美元估值机器人端到端新技能,英伟达持续加注
估值390亿美元、英伟达持续看好的Figure机器人有新进展,能完全自主、端到端全流程整理客厅。背后是其自主研发的具身大脑Helix 02系统,仅补充新数据就能掌握全新任务。
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。
浙江大学联合华为发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型
2025年9月18日,浙江大学任奎教授团队联合华为在“华为全联接大会2025”发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型,提升了我国AI系统自主安全防控水平,该模型已全面开源。
AI Coding 赛道,Solo 创业、6 个月 8000 万卖掉,独立开发的新传奇
Maor Shlomo开发全栈无代码平台Base44,6个月获25万用户后8000万美元卖掉。他复盘了从搭建到推广的全流程,分享产品切入点、与AI协作、渠道增长等经验,强调做喜欢之事,把握用户‘顿悟时刻’。
浙江大学联合华为发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型
2025年9月18日,浙江大学任奎教授团队联合华为在“华为全联接大会2025”发布国内首个基于昇腾千卡算力平台的DeepSeek - R1 - Safe基础大模型,提升了我国AI系统自主安全防控水平,任奎获“科研创新卓越贡献奖”。
微软最新揭秘:「话痨实习生」AI助手,到底能帮人类做什么?
基于20万微软Copilot使用数据的研究指出,AI能支持研究、写作和沟通任务,但无法完全胜任单一职业所有任务。Copilot执行任务多为解释型,写作和信息收集任务满意度高,语言和创作类职业受影响大。