「参数压缩 - 覆盖假说」共找到 1208 篇相关文章
检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中,系统评估RAG语料规模与生成模型规模替代关系。实验表明,语料扩容可让小模型追上大模型,提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
你们催更的模型,云栖大会一口气全发了!
云栖大会上新6款模型、发布1个全新品牌,覆盖多场景。如Qwen MAX万亿参数大模型能力登顶国际榜单,Qwen3 - Omni实现全模态不降智等,各模型能力升级显著,现已同步上线。
PRF | 宾州州立、南科大杨翔、张雯等:粗糙壁湍流的低维建模新范式
传统粗糙壁湍流低维建模依赖经验参数,泛化与精度不足。该研究提出新思路,将粗糙面形貌压缩到低维流形,用自动编码器和前馈神经网络建模,重构效果好、预测准,有生成与泛化性。
像原始人一样和AI对话,费用可直接砍掉40%
开源项目‘caveman-compression’能帮使用ChatGPT API或其他大模型的用户省钱。原理是删废话留关键信息,有调用OpenAI和本地NLP两种压缩方式,不同场景省钱效果不同,还介绍了使用方法。
Claude Mythos核心架构开源!22岁天才一人破解,融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构,开源OpenMythos项目。该架构采用循环深度Transformer,不堆参数,循环思考16次推理,结合MoE层,参数效率翻倍。
MongoBleed 漏洞允许攻击者从 MongoDB 的堆内存中读取数据
MongoDB 修补 CVE - 2025 - 14847(MongoBleed)漏洞,该漏洞 CVSS 得分 8.7,可被未认证攻击者远程利用致敏感数据外泄。此漏洞由 zlib 压缩网络流量处理不当触发,影响 2017 年后版本,部分云环境和服务器有风险。
DeepSeek-OCR是「长文本理解」未来方向吗?中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本,中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知,含三大任务及衍生版本,测试结果有‘U型曲线’,还评测多种尖端模型。
准确率轻松翻倍!不烧钱微调,AI靠“写日记”实现能力跃升
Memento - Skills系统抛弃大量算力微调模型参数的方式,靠读写反思、“写日记”式学习机制,在不改变模型参数下实现能力跃升,在GAIA和HLE基准实验中准确率显著提高。
Pinterest 利用内容指纹技术,在数百万个域名中实现 URL 去重
Pinterest工程师开发“最小重要查询参数集”(MIQPS)URL标准化系统,用于优化大规模数据采集管道内容去重。它取代传统方法,用数据驱动判断参数重要性,还采用早期退出逻辑等提高效率。
极客说|Unsloth 的全微调之路:从 Adapter 到 Full Fine-tuning
大语言模型参数多,微调难。Unsloth 原靠支持 Adapter 微调出名,现支持全参数微调,单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。