「块稀疏GPU内核」共找到 556 篇相关文章
AI圈水太深:OpenAI保密、Meta作弊!国产MoE却异军突起
文章梳理大语言模型发展,从传统稠密架构到稀疏MoE架构,参数从百亿到万亿。介绍OpenAI、Meta等厂商模型,如GPT系列、Llama系列,还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻,国产MoE模型异军突起。
刚被马斯克收购,Cursor掏出新模型:10万卡加持,和Opus、GPT一样大
本周二,刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型,在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当,还谈了对其他AI实验室看法,新模型将几周内发布。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
ICML 2026 | 拒绝盲目猜token,阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大,推理成本成核心瓶颈。投机解码在高并发下有问题,阿里与浙大学者提出 ECHO,将投机树构造建模为预算调度问题,通过稀疏门控和弹性预算调度提升系统收益。
AMD:“拿捏”了英特尔,还要给英伟达“上强度”?
2025年第一季度财报显示,AMD营收74.4亿美元、净利润7.1亿美元,同比双升。客户端业务超预期,桌面级CPU份额反超英特尔;数据中心业务增长,GPU待新品发力。不过,MI308出口受限或影响业绩。
当 AI 开始重写负载,数据库该如何重新设计?
AI正改写数据库命题,新数据对象进入生产链路,AI Agent带来更复杂任务链路。在腾讯云数据库DBTalk上,三位研究员从不同方向探讨当负载被AI改写,数据库该如何重新设计,包括内核优化、资源管理和测试测评等方面。
Linus一句话说透Al局限:代码不能直接用,bug只能创可贴式地修
本文是 Linus Torvalds 在开源技术会议上与 Dirk Hohndel 的对话。Linus 从工程实践出发,谈到 Linux 内核开发节奏、硬件支持取舍、语言之争及 AI 应用。他认为 LLM 是工具,有价值但无法替代长期维护者经验。
摩尔线程背后大赢家:早期投资人回报已超6200倍
摩尔线程今日登陆科创板,市值达2800亿。其自创立受资本关注,融资超百亿。沛县乾曜早期190万投资增值超6200倍。虽曾遇美国制裁危机,但仍业绩增长,彰显了国产GPU企业的突围能力。
OpenAI 迈出关键一步:LLM 黑盒不再是盲盒
OpenAI开源新研究成果,提出全新范式,训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步,关键结果显示稀疏模型优势多,但也存在训练成本高、规模有限等局限,还给出两条未来路线。
DeepSeek不惜代价保住它!V4关键特性被挖出来了
DeepSeek V4技术报告被深挖,为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐,是复杂上下文系统底座,但会牺牲GPU利用率等,换来训练等多阶段可复现和稳定度。