「知识绝缘机制」共找到 1323 篇相关文章
大模型是否对问题难度有预判?最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针,定位负责难度感知的注意力头,还发现不同模型表现有差异。
离大谱!15k Star book-to-skill,我惊到了!!!
book-to-skill是将书籍、文档目录或多份资料转换成Agent Skill的命令行工具。它把资料拆成可按需加载的知识资产,有按需加载章节等优势,适合将常用知识编译成技能,不过也有一定局限性。
哈萨比斯出的难题,GPT之父接上了:用一个知识停在1930年的模型
GPT之父Alec Radford等用1931年前数据训练13B模型Talkie,切断现代知识污染。研究者测试其能力,探讨它对未来的“预感”、规避污染问题及数据多样性等,同时训练中也面临时间泄漏、数据质量等难题。
为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制,包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化,介绍了各机制代表项目及成果,指出 AI 学习正从训练溢出到部署阶段。
开源RAG又添新军!港大开源多模态RAG神器,多文档格式统一解析、知识图谱索引与混合检索!
在AI信息检索领域,传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything,可提供端到端解决方案,能多格式解析、构建知识图谱和混合检索,优势显著。
开源2天狂揽3.3K Star!超火的隐形AI桌面助手,实时捕捉屏幕与音频,生成结构化知识!
GitHub爆火的隐形AI桌面助手Glass,开源2天Star超3.3K。它由Pickle团队开发,能捕捉屏幕和音频活动,转化为结构化信息。适合会议记录等场景,有屏幕活动捕捉等核心能力,提供不同系统安装方式。
给大模型「持续注入新知识」,北航CASE框架:编辑千次不失忆,额外参数不到1MB丨WWW'26
北航团队提出CASE框架解决大语言模型持续吸收新知识难题。该框架给编辑“算分”、调“关键神经元”,破解核心痛点。实验显示,1000次编辑后准确率提升近10%,额外参数不到1MB。
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型(DeepSeek R1和OpenAI o3 - mini - high)与非推理型(DeepSeek V3和ChatGPT 4o)大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估,结果有差异。
吴恩达推出 Context Hub,专治 AI 写代码时的「瞎编」问题
吴恩达推出开源工具 Context Hub,解决 AI 写代码时的「API 幻觉」问题。它通过喂最新文档,让 Agent 按需取用,还能做批注。与 MCP 路线工具不同,它按需拉文档,且引入反馈机制更新文档。