「分层稀疏注意力」共找到 442 篇相关文章
全网最强万字解读：DeepSeek-V4 掀翻了谁的桌子？ | GAIR live 030
文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
谷歌发布 Gemma Scope 2，深化对 LLM 行为的理解
Gemma Scope 2 是谷歌推出的解释 Gemini 3 模型行为的工具，结合稀疏自编码器和转码器，能让研究人员检查模型内部表示。它从多方面扩展了原先的 Gemma Scope，还引入针对聊天机器人的分析工具，已发布权重。
马斯克的作业还是被奥特曼「抄走了」
奥特曼宣布几周内发布ChatGPT新版本，12月推成人模式，让其重获个性化“灵魂”。这似在抄马斯克Grok作业，背后是为AI产品增长，当下AI之战已演变成争夺用户注意力和多巴胺的战争。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个Github开源项目。如htmx，能在纯HTML搞定多种交互，无需JS；Flow.Launcher可快速搜索文件、启动应用；Maple Mono是编程字体，中英2:1对齐；Trilium Notes是分层笔记神器；Hyprnote可实时转录会议内容。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
两张图就能重构3D空间？清华&NTU利用生成模型解锁空间智能新范式
ICCV 2025中稿的LangScene-X以全新生成式框架，仅用稀疏视图就能构建可泛化的3D语言嵌入场景。它攻克传统方法痛点，将多模态信息统一在单一模型，为空间智能领域打开新大门。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。
Kimi K2.5登顶开源第一！15T数据训练秘籍公开，杨植麟剧透K3
Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。