搜索：大型神经网络

「大型神经网络」共找到 239 篇相关文章

重塑记忆架构：LLM正在安装「操作系统」

现代大型语言模型（LLM）存在「记忆缺陷」，难以维持长期记忆。近期关于大模型记忆的研究增多，如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型，以及实现 LLM 记忆的多种方法和相关研究成果。

用户常问Cline如何处理大型代码库，是否用RAG索引全部代码。Cline特意选择不对代码库进行索引，因为传统RAG方法用于代码库有逻辑切割、索引过时、安全风险等问题。Cline像开发者一样处理代码，有独特优势。

本文提出利用控制方程残差引导网格细化的启发式策略，用物理信息神经网络（PINNs）整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比，显示该策略能平衡计算精度与成本，但有额外计算开销。

近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。

Draw A Fish是一款AI小游戏，让全球百万网友上头。玩法简单，在画布画鱼，达到一定相似度就能放虚拟鱼缸。它门槛低、有成就感和互动性，背后是基于PyTorch的卷积神经网络，用ResNet18架构和QuickDraw数据集训练。

预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。

大型语言模型解决复杂问题有推理过程和答案，传统评估只看最终答案。论文提出最终答案可能不佳，中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机，提出‘分步检查法’提升模型表现，实验表明准确率最高提升13%等。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。