「语言学习」共找到 2317 篇相关文章
模型遗忘不代表记忆抹除!首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除,可能藏于内部。他们构建表示空间诊断工具,区分可逆与不可逆遗忘,揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证,得出系列结论。
LLM已能自我更新权重,自适应、知识整合能力大幅提升,AI醒了?
近期,AI自我演进话题研究讨论渐热。OpenAI奥特曼畅想AI自我改进未来,有爆料称其内部运行递归式自我改进AI。MIT论文提出SEAL框架让LLM自我更新权重,引发热议,实验显示其有提升但也有局限。
对谈 DeepSeek-Prover 核心作者辛华剑:Multi Agent 天然适合形式化数学 |Best Minds
文章是对 DeepSeek-Prover 核心作者辛华剑的访谈。他认为强化学习是 AGI 关键解法,Multi Agent 适合形式化数学。还探讨了 DeepSeek Prover 进展、数学与 AGI 关系、评测基准等,指出未来有全才模型和自主 Agent 出现。
LeCun有了新证据!大模型思考与人类思考存在本质差别
Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架,分析主流大模型,发现AI与人类在‘理解’上有三大核心差异,对当前AI发展趋势提出挑战。
图像分词器造反了!华为 Selftok:自回归内核完美统一扩散模型,触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术,通过反向扩散将自回归先验融入视觉 token。它突破传统,实现因果 token、强化学习友好型 token 及纯 AR 大一统架构,实验在多方面表现优异,论文还入选 CVPR 2025 最佳候选。
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码,多项任务远超RoPE
长文本能力对语言模型重要,但现有模型训练窗长有限,流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足,提出傅里叶位置编码FoPE,提升长文本泛化能力,实验表现超RoPE。
仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。
突发!OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。
人形机器人设计正在向仿真器低头!40年机器人从业老兵发出警告
人形机器人行业现怪象,为让仿真系统和强化学习更顺,一些有机械优势的结构因‘仿真麻烦’被排除。40多年经验的Scott Walter质疑设计变得‘S.T.U.P.P.I.D.’,指出仿真应服务设计而非主宰。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式,如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus,提出“知识编译”概念,称能提高任务完成率、降低 token 开销,整个 AI 世界都在将“推理”往上游移动。