搜索：不可压缩知识探针

「不可压缩知识探针」共找到 741 篇相关文章

不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍

英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。

book-to-skill是将书籍、文档目录或多份资料转换成Agent Skill的命令行工具。它把资料拆成可按需加载的知识资产，有按需加载章节等优势，适合将常用知识编译成技能，不过也有一定局限性。

GPT之父Alec Radford等用1931年前数据训练13B模型Talkie，切断现代知识污染。研究者测试其能力，探讨它对未来的“预感”、规避污染问题及数据多样性等，同时训练中也面临时间泄漏、数据质量等难题。

近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。

大模型落地面临推理成本高、算力需求大的问题。AICon大会上，阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案，覆盖云到边缘、多算力平台。

在AI信息检索领域，传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything，可提供端到端解决方案，能多格式解析、构建知识图谱和混合检索，优势显著。

大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。

GitHub爆火的隐形AI桌面助手Glass，开源2天Star超3.3K。它由Pickle团队开发，能捕捉屏幕和音频活动，转化为结构化信息。适合会议记录等场景，有屏幕活动捕捉等核心能力，提供不同系统安装方式。

北航团队提出CASE框架解决大语言模型持续吸收新知识难题。该框架给编辑“算分”、调“关键神经元”，破解核心痛点。实验显示，1000次编辑后准确率提升近10%，额外参数不到1MB。

Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。