「算法框架」共找到 2141 篇相关文章
DeepSeek的GRPO会导致模型崩溃?看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO,重点指出Qwen团队发现GRPO有稳定性问题,会致模型崩溃,进而提出新算法GSPO,实验显示其效率和可扩展性更佳。
Andrej Karpathy 提出判断什么工作会被 AI 替代的新标准
Andrej Karpathy 提出判断工作是否会被 AI 替代的新标准,即不看复杂度看可验证性。他在 Software 2.0 框架下解释此现象,还指出任务被 AI 自动化需满足可重置、高效、可奖励三个条件,同时提及该框架有局限性。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
5000 star,Harness门槛被OpenHarness打穿了
分享开源Python实现版本OpenHarness,它易上手,能助研究者和开发者理解生产级AI Agent原理、构建专用智能体。介绍其核心功能、架构及核心循环逻辑,还给出了Github链接。
AI 增强截图项目,爽歪歪~
日常截图后手动处理文字、公式、表格耗时又易出错。开源项目`Snippai`将截图与智能分析融合,是跨平台智能截图工具,能自动识别内容类型并处理,有多种功能,安装使用简单。
泛化性暴涨47%!首个意图检测奖励范式,AI工具爆炸时代意图识别新解法
随着大模型和工具增长,AI 助手意图识别遇新挑战。腾讯 PCG 团队用强化学习等方法,提升模型泛化能力,还从多方面剖析优势,最后提出未来研究方向。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。
OmniInsert:全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快,但以往方法有局限。字节提出InsertPipe和OmniInsert,解决数据不足等难题。OmniInsert设计巧妙,还建立评测平台InsertBench,虽有小问题,但推理快,可加速优化。
见微知著:LLM 奖励建模的「Analytic Rubric」范式全面综述
该文是对LLM奖励建模的「Analytic Rubric」范式的全面综述。介绍了Rubric概念来源,指出传统奖励模型存在对齐风险,而Rubric RM在多方面取得平衡,还阐述其工作流、各维度研究情况及面临的挑战。
东方理工团队提出HiDrop:重构MLLM计算路径,压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop,基于MLLM不同层功能差异,设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示,它能压缩约90%视觉Token,保持98.3%性能,实现训练和预填充加速。