「稀疏矩阵」共找到 178 篇相关文章
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
实测丨全新的「扣子编程」，全新的 Vibe Infra
作者见证扣子多次迭代，虽其曾沉寂，但近期更新打消疑虑。扣子推出「扣子编程」，拥抱 Vibe Coding，打造三大核心功能矩阵。作者实测其功能，从想法到成品速度快，还能一键部署，软件开发门槛降低。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
AI算力饥渴和高能耗困局谁来解？两位95后创始人用相变材料光计算构建新范式
AI算力供需失衡致数据中心能耗激增，传统电芯片性能提升放缓。光本位科技由两位95后创立，2024年6月流片全球首颗128×128矩阵规模光计算芯片，推动光计算商业化，正布局产品商用。
LiblibAI 母公司完成近 3 亿美元融资：AI 应用层开始进入「收入说话」的阶段
近日，演语科技披露近3亿美元B+轮融资，投后估值超20亿美元。其旗下有LiblibAI、LibTV、星流等业务，已构建AI创意内容生产应用矩阵。截至2026年5月，ARR达3亿美元，收入年同比增超3000%。
弯道超车？国产具身，千小时人类数据激发智能涌现
近日，深度机智用人类学习范式在国际 Benchmark 上击败巨头，成果两会首日被央视报道。其全新架构源于一年多积累。英伟达也有人类学习尝试。深度机智构建全栈技术矩阵，成果显著，3 月底成果将开源。