搜索：知识保留 - AI Reading Hub

「知识保留」共找到 617 篇相关文章

大概念模型：AI 推理的新范式

大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

Anthropic 发布 Claude Opus 5，定价与 Opus 4.8 相同，价格是 Fable 5 的一半。它在编码、知识工作和推理上表现出色，虽有不足，如速度慢、幻觉率较高，但提供多种 effort 等级，成本低，安全对齐性好。

英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。

近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。

现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。

文章评估了 Kotlin Multiplatform（KMP）在跨平台开发中的优劣势。KMP 可共享代码，编译成原生代码获出色性能，保留原生 UI 选项。虽生态小、有学习曲线等问题，但 Netflix 等大公司已用，未来潜力大。

AI员工呼声高却未落地，瓶颈可从其源起探寻。早期自动化工具非真正数字员工，大模型带来新可能，但存在时效性、场景定义、意图澄清、知识更新、博弈能力等问题，未来建议局部替代，先以实习生角色上岗。