「混合记忆」共找到 754 篇相关文章
梁文锋署名新论文,DeepSeek V4架构首曝?直击Transformer致命缺陷
新智元报道,梁文锋署名的DeepSeek新论文提出全新Engram模块,解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴,通过Engram模块实现近似O(1)的确定性知识查找,或成稀疏LLM主流路线,下一代V4可能集成该方法。
10万引普林斯顿刘壮最新访谈:架构没那么重要,数据才是王道
普林斯顿大学助理教授刘壮在访谈中指出,架构没那么重要,数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节;当前数据集远不够多样;大语言模型有语言空间的世界模型,但视觉空间的还缺失;记忆是瓶颈,智能体只是权宜之计;AI目前还替代不了研究生。
CUTLASS 笔记 (2):混合精度 GEMM kernel
文章介绍实现支持不同精度的 GEMM 算子,解析精度转换技术细节,还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel,包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等,最后完成精度验证。
SQL玩转多模态AI,轻松搞定图片+文本混合搜索
在AI驱动智能商业时代,传统搜索系统难满足需求,AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索,基于PolarDB融合AI引擎,通过SQL调用服务,无需迁移数据与搭建独立服务。
Agent不是关键!人大AiScientist实现23小时、74轮长程记忆
中国人民大学团队打造的AiScientist,旨在解决长程机器学习研究工程的持续性难题。它通过File - as - Bus机制稳定保存项目状态,在多轮实验中表现出色,提升科研效率,推动AI真正接手科研流程。
Gemini盘活了谷歌全家桶,“原生”自带你10年的记忆
谷歌发布由Gemini3驱动的“Personal Intelligence”功能,底层连接旗下四大应用,让AI跨应用获取数据,还内置纠错机制。该功能现处Beta测试,未来覆盖免费用户。谷歌与苹果引入Gemini后路径不同,AI竞争也转向生态构建。
DeepSeek开源新模型,提出上下文光学压缩:LLM的新记忆方式
DeepSeek开源OCR模型,探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens,压缩比10倍、准确率97%。还提出模拟人类遗忘等想法,有多种应用场景,且完全开源。
Claude一夜杀入Excel和PPT,暴击微软Copilot!永久记忆血洗软件业
Anthropic发布Claude for Excel与Claude for PowerPoint重大更新,实现跨文件全上下文共享,以研究预览形式面向付费用户。还引入「技能」「指令」功能,能与微软Copilot协同,已超OpenAI成美企首选。
模型遗忘不代表记忆抹除!首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除,可能藏于内部。他们构建表示空间诊断工具,区分可逆与不可逆遗忘,揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证,得出系列结论。
Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。