搜索：参数高效微调

「参数高效微调」共找到 1419 篇相关文章

小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型

近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

文章指出玩Agent久了会出现问题，很多人简单将其视为“模型+工具”组合远远不够。以OpenDev为例，介绍了Harness架构，包括核心理念、扩展ReAct循环、上下文工程等，还提及安全架构、多模型路由等内容。

本文探讨 Agent 对软件开发和开发者工作流的影响，以 GitHub Copilot“Agent 模式”构建维基搜索应用为例，对比不同 LLM 模型性能，指出要发挥 Agent 效能，可采用人机协作流程，经验是掌控其成果的关键。

谷歌开源 Python 库 LangExtract，能用大语言模型从非结构化文本提取结构化信息。它定位精确、输出可靠，支持多模型，适应多领域，还能处理长文档，通过示例介绍了使用方法。

近年来，RL后训练在LLM发展中至关重要，但传统方法效率低。本文提出PCL轻量级算法，通过动态选中等难度提示提升LLM后训练效率，经多基准实验验证其优越性，也指出方法局限与未来方向。

4月初，京东探索研究院开源JoyAI - Image - Edit图像模型。它是业内首个将「空间智能」写进底层的开源一体化图像模型，能让模型「理解空间，编辑空间」，在电商和具身智能场景极具价值。

数字音频时代音频易损坏丢失，传统修复法处理长间隙不佳。本古里安大学研究人员提出基于离散扩散模型的音频修复法，经MusicNet数据集实验验证，该方法在各间隙长度上表现优异。

文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。

吴恩达认为编程智能体正加速各类软件工作，按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显，后端开发有提升但幅度小，基础设施和研究方面加速有限。