「块稀疏GPU内核」共找到 567 篇相关文章
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
一条SQL管理向量全生命周期，让AI应用开发更简单
在大模型驱动的AI浪潮中，向量在AI应用开发中至关重要，但开发者面临技术栈分裂等隐形成本。PolarDB IMCI提出解决方案，在数据库内核集成向量索引与Embedding能力，用一条SQL管理向量全生命周期，降低开发和维护门槛。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
百芯竞逐，芯片产业的“新战国时代”
ASIC发展超预期，成AI竞争胜负手。它适配大厂专属需求，成本与功耗低，出货量和市场规模将扩容。英伟达GPU虽难替代，但份额会被ASIC蚕食，谷歌TPU已撕开其垄断裂缝，大厂纷纷自研ASIC。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
Agent 工程师绕不开的必修课：API 网关 vs API 管理
文章探讨了 API 网关与 API 管理的起源发展、关键差异、协同工作及未来趋势。API 网关从流量网关演进到 AI 网关，API 管理从文档化走向商业化。两者差异源于起点、使用角色和技术内核不同，未来将向 AI 网关和 MCP Server 管理演进。
新瓶旧酒or涅槃重生？操作系统的 AI 进化终将走向何方？
本文基于「AI 进化论：智算时代 OS 的破局之路」直播实录，解码 AI 时代 OS 破局之道。探讨国内外 OS 的 AI 进化差异、内核价值重构、技术跃迁、算力适配等，还提及未来趋势、Agent 生态挑战及 OS 进化关键。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。