「参数化知识注入」共找到 1267 篇相关文章
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
加一个JVM参数，让系统可用率从95%提高到99.995%
文章针对高并发系统不稳定问题，定位是系统内存索引切换时 GC 压力大所致。围绕让索引尽早晋升、直接分配到老年代等思路探索优化，经多番尝试，最终实现索引无感切换，使系统可用率达 99.995%。
知识图谱推理新sota，兼顾性能+效率！中科大新作 | NeurIPS'25
知识图谱推理应用广泛，但现有方法面临推理效率低、表达能力不足等挑战。中科大团队提出DuetGraph，采用双阶段粗到细推理框架与双通路全局 - 局部特征融合模型，平衡推理精度与效率，缓解过平滑问题。
企业养虾🦞（OpenClaw），虾住在哪里比虾本身重要
文章从企业 Agent 落地角度，探讨让龙虾发挥价值的方法。指出企业养虾和个人不同，需建知识体系，包括数据、关系、操作和技能四层。还以飞书为例，说明其优势，并强调知识体系才是企业真正资产。
端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统
北京大学王勇涛团队提出新型自动驾驶系统 KnowVal，通过感知与知识检索模块协同实现视觉 - 语言推理。它构建驾驶知识图谱，有价值模型用于轨迹规划，实验在多基准测试表现佳，还通过定性分析验证效果。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
CVPR 2026 | AI寒武纪时刻？字节世界模型新作，仅靠视觉学习真实世界知识
豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。
如何在24GB显存里，塞下一个万亿参数的巨兽？KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统，可让消费级显卡跑万亿级参数模型，其论文入选SOSP 2025。该系统解决MoE模型本地部署难题，技术创新多，还与SGLang合作，提升硬件利用率。
LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？
近期，AI自我演进话题研究讨论渐热。OpenAI奥特曼畅想AI自我改进未来，有爆料称其内部运行递归式自我改进AI。MIT论文提出SEAL框架让LLM自我更新权重，引发热议，实验显示其有提升但也有局限。