「LLM微调库」共找到 1416 篇相关文章
准确率92.7%逼近Claude 3.5、成本降低86%,开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent,这是用于代码定位的图索引 LLM Agent 框架,准确率达 92.7%。它把代码库解析成图,提供工具接口,经实验效果出色,开源微调模型降本增效,还能提升问题解决率。
蚂蚁C2LLM:基于注意力池化的代码检索新范式
在Code RAG场景中,传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型,引入注意池化模块,在MTEB - Code榜单表现出色,还得益于优质训练流程,成果已回馈社区。
Claude1.7万字系统提示词全网刷屏!Karpathy锐评:LLM训练缺乏关键范式
Claude近1.7万字系统提示词在GitHub泄露,网友称是提示技术的金矿。大神卡帕西提出系统提示学习新范式,模拟人类经验积累,让LLM有‘记忆’功能,引发网友激烈讨论。
为什么Cline不对你的代码库进行索引(以及为什么这是好事)
用户常问Cline如何处理大型代码库,是否用RAG索引全部代码。Cline特意选择不对代码库进行索引,因为传统RAG方法用于代码库有逻辑切割、索引过时、安全风险等问题。Cline像开发者一样处理代码,有独特优势。
同时监督和强化的单阶段大模型微调,告别“先背书再刷题”,推理泛化双提升|中科院&美团等
中国科学院自动化研究所联合美团提出单阶段监督 - 强化微调方法 SRFT,结合监督微调与强化微调,解决传统两阶段方法的不足,在多任务中提升推理和泛化能力。
Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降,要重新发明一个OpenAI
Thinking Machines Lab发布首个产品Thinker,让模型微调像改Python代码一样简单。它是用于微调语言模型的灵活API,降低了大模型微调门槛,受到业界关注。此外,该公司还尝试重新发明OpenAI,而OpenAI正打造社交模式。
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧,传统微调方法有短板,免训练对齐(TF Alignment)应运而生。本文是首篇系统综述TF对齐技术的论文,提出三阶段分类框架,实验显示TF方法优势明显,还指明未来研究方向。
推理时扰动高熵词,增强LLM性能
香港科技大学(广州)研究团队发现LLM推理时,一小部分高熵词显著影响输出正确性。基于此提出MTI方法,含Selective CFG intervention与Lightweight negative - prompt guidance,无需额外训练,能提升模型推理能力。
LLM-based Agent的代码生成综述
这篇2025年的综述指出,传统代码生成技术难完成复杂开发任务,而基于大语言模型(LLM)的代码生成代理应运而生。它把LLM作为“大脑”,具备自主规划等能力。文章梳理了该领域的核心特征、技术体系、应用实践等,也剖析了挑战与未来方向。
AI三问:Agent、LLM、RAG,一文厘清!
文章介绍大语言模型(LLM)、检索增强生成(RAG)和AI智能体(Agent)三种架构。阐述其概念、工作原理、应用场景、优缺点,还做了横向对比,给出选用建议,最后提及混合架构与未来趋势。