后训练策略」共找到 4329 篇相关文章

算法论文8

普林斯顿等高校提出AgentDistill:无需任何训练即可继承大Agent复杂能力,性能提升48%,成本降低90%

在AI领域,大型语言模型智能体计算需求大限制部署,传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案,让学生智能体复用教师智能体的MCP工具包,无需训练继承复杂能力,小模型性能显著提升。

深度学习自然语言处理
新闻资讯7

用得越多、失业越快?GitHub 大改 Copilot 规则:默认拿个人代码训练 AI,还搬出 Anthropic 挡枪!

当地时间3月26日,GitHub宣布自4月24日起,Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型,Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景,但此举遭用户吐槽。

AI前线
算法论文8

正交化之外是什么?微软等提出ARO优化器:训练提速1/3,揭示矩阵优化新「蓝海」

微软研究院联合多校发布论文,提出新优化器 ARO。它将梯度旋转作为原则,能让大模型训练提速约 1/3,比 Muon 高效 10% - 15%,还能全模型优化,揭示了矩阵优化新方向。

机器之心
新闻资讯7

GitHub 2.5万星!日本开发者打造的Hono火了:定义React时代微框架的轻量未来

本周,Web 框架 Hono 在 X 官宣,GitHub 获 25000 星标。它由日本开发者 Yusuke Wada 于 2021 年创建,基于 Web 标准,可在多运行时运行,或指明 React 时代 Web 框架方向。

InfoQ
开源动态8

卡帕西630行代码炸出81个智能体,4天协作跑2333次实验,公布预训练十大发现

Karpathy的Autoresearch项目630行代码让AI自主实验,提升语言模型训练效率。全球开发者让多智能体协作,智能体自发形成同行评审制度。项目发起者公布十大发现,还衍生出表现出色的auto - discovery项目。

量子位
开源动态8

字节Seed新方法!开源8B代码模型:自己筛数据训练自己,同量级SoTA,还能超越百亿级对手

传统code大模型依赖人工筛选数据,成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己,打造8B参数轻量级开源代码模型,性能超百亿级对手,不过也存在通用和数学能力短板。

深度学习自然语言处理
推荐文章8

刚刚!北大校友Lilian Weng最新博客来了:Why We Think

北大校友Lilian Weng更新博客《Why We Think》,回顾利用测试时计算的研究进展,探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略,还提及多种提升生成质量的策略,如并行采样与序列修订,以及强化学习提升推理能力等内容。

机器之心
算法论文8

港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」

香港科技大学联合团队提出 ROVER 算法,跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法,在高难度任务中大幅提高 pass@1 和 pass@256,且提升推理多样性,更轻量。

机器之心
新闻资讯7

用得越多、失业越快?GitHub 大改 Copilot 规则:默认拿个人代码训练 AI,还搬出 Anthropic 挡枪!

当地时间3月26日,GitHub宣布自4月24日起,Copilot Free、Pro和Pro+用户交互数据默认用于训练改进AI模型,但用户可手动退出。它称此举因模型需更多数据,还拿微软等挡枪,却遭开发者吐槽。

InfoQ
新闻资讯7

抱上Meta“大腿”,自家公司要搞黄了?Scale AI狂丢大客户,又遭6年老员工“背刺”

9月3日外媒报道,Meta支持的Scale AI起诉前员工Eugene Ling及竞争对手Mercor,称其盗用商业秘密、违反合同。Mercor反驳,称对商业秘密无兴趣。Scale AI与Meta合作丢客户、裁员,声誉受损,而Mercor地位上升。

InfoQ