「高稀疏度MoE结构」共找到 711 篇相关文章
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。
用3D几何先验驱动视频扩散，实现更一致的世界生成
视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。
Nature重磅：智能的尽头是算力！谷歌大佬承认「预测下一个词即智能」
芯片速度触顶，摩尔定律失效，但AI却在疯狂跃迁。Nature文章指出，智能的增长不靠芯片加速，而是结构重组与协作。其核心是预测和并行协作，AI正以类似生命演化的方式发展，与人类相互依存。
6.2k 谷歌开源LangExtract，主打精确溯源的长文档抽取
谷歌开源 Python 库 LangExtract，能让 LLM 依用户指令从非结构化文档提取结构化信息。它可处理临床记录等，具备精确源接地、可靠输出等特性，支持多模型，无需微调，适用于各领域。
谷歌开源高效文本提取 Python 库LangExtract
谷歌开源 Python 库 LangExtract，能用大语言模型从非结构化文本提取结构化信息。它定位精确、输出可靠，支持多模型，适应多领域，还能处理长文档，通过示例介绍了使用方法。
藏师傅教你做即将爆火的AI玄学祈福壁纸，不止提示词还有创作思路
作者歸藏分享AI许愿祈福壁纸教程，给出提示词模板，分析其结构，介绍从画面结构、人物描述、排版内容三部分改动来产生创意，还提及更改内容模态及向其他文化方向发散创意。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
聊聊Anthropic这篇最新研究，我觉得可能是AI意识诞生的前夜。
Anthropic最新研究《A Global Workspace in Language Models》，在Claude神经网络中发现与人类大脑意识通达结构功能高度相似的J空间，这结构自发涌现，研究还证明其对Claude输出有影响，或改变人类对意识的理解。
AI破译生命！微软蛋白质研究「超级加速器」登上Science
微软研究AI for Science团队推出BioEmu，能模拟蛋白质在平衡状态下的各种可能结构集合。它输入蛋白质序列就能生成大量结构样本，预测性质，速度比传统方法快10万倍，已开源助力药物研发。
模型遗忘不代表记忆抹除！首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。