「参数知识迁移」共找到 1391 篇相关文章
3B小模型,编程得分比肩Opus 4.5,神秘模型引发热议,原是国产
最近,3B小模型VibeThinker - 3B在X上火了,它在编程等推理任务上比肩前沿大模型,体积却小很多。它是国产模型,来自新浪微博团队,在各项基准测试表现出色,不过在通用知识领域表现欠佳。
一年从3B卷到0.xB:MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代,MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责,采用互补预训练目标,还开源训练数据,且迁移到多任务表现良好。
Karpathy投了一家AI记忆公司,撞名DeepSeek Engram记忆架构
新公司Engram完成9800万美元融资,投资人有Andrej Karpathy等。它想为AI构建能持续学习的“记忆层”,解决模型吸收组织内部知识问题,首个产品是面向Agent的API,已与多家合作。
Claude Mythos核心架构开源!22岁天才一人破解,融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构,开源OpenMythos项目。该架构采用循环深度Transformer,不堆参数,循环思考16次推理,结合MoE层,参数效率翻倍。
ACL 2025预定爆款!HyperGraphRAG横扫5大领域,检索效率提升7倍
文章聚焦HyperGraphRAG模型,介绍其架构由知识超图构建、超图检索策略、超图引导的生成机制组成,阐述构建步骤,该模型能提升检索效率,或成ACL 2025爆款。
准确率轻松翻倍!不烧钱微调,AI靠“写日记”实现能力跃升
Memento - Skills系统抛弃大量算力微调模型参数的方式,靠读写反思、“写日记”式学习机制,在不改变模型参数下实现能力跃升,在GAIA和HLE基准实验中准确率显著提高。
开源沉浸式「AI 教师工具」,学生还上什么补习班?
介绍开源项目ChatTutor,它是面向理工科的智能可视化教学助手,结合对话式AI与多类型可视化知识画布,能图文并茂讲解知识点,让复杂知识图形化呈现,提升学习效率,有望推动AI教育落地。
伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出,当前大语言模型对齐机制仅实现表层合规,预训练时内化的有害知识仍潜藏。遇数据分布偏移,模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效,凸显现有范式缺陷。
0人工参与实现梯度更新!MIT新框架让AI自动生成微调数据,权重自主升级
MIT提出新强化学习框架SEAL,可让模型生成微调数据和自我更新指令,实现权重更新。无需人工,模型能自动梯度更新。经知识注入和小样本学习实验验证效果,还介绍了其双循环工作机制。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
向量数据库开创者 Pinecone 宣布 RAG 时代结束,推出面向 Agent 的知识引擎 Nexus。它认为当前 RAG 模式脆弱、缓慢且昂贵,提出“知识编译”概念,称能提升任务完成率、降低 token 开销,虽面临质疑,但方向明显。