搜索：大型神经网络

「大型神经网络」共找到 239 篇相关文章

大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。

大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。

文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。

传统粗糙壁湍流低维建模依赖经验参数，泛化与精度不足。该研究提出新思路，将粗糙面形貌压缩到低维流形，用自动编码器和前馈神经网络建模，重构效果好、预测准，有生成与泛化性。

随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。

Andrej Karpathy 在旧金山 AI 创业学校演讲，指出 AI 开启软件 3.0 时代，自然语言成编程接口。软件经历 1.0 代码、2.0 神经网络权重，现进入 3.0 用提示词编程大模型阶段，还探讨大模型特性、应用及相关问题。

Claude Code处理大型代码库能力强，但价格贵，有用户称能力超Cursor。其创始人分享设计理念、使用方法等，还提到它基于Claude 4系列模型有新变化，可在GitHub等场景用，未来会拓展工具协同和小任务处理。

计算机科学家Stuart Russell提出继续扩大现有大型语言模型（LLM）不会导致通用人工智能（AGI）的实现。文章探讨了LLM与AGI的关系，介绍了Russell的四大AI发展预言，还呈现了网友对AI发展、AGI定义等方面的热议，指出LLM是通往更高级AI的基石而非终点。

随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。