「混合长度理论」共找到 461 篇相关文章
冗长响应缩减80%,DeepSeek GRPO获得颠覆性改进,微软GFPO问世
微软研究员曝出颠覆性强化学习算法 GFPO,能削减推理多余 token 长度达 80%。它基于 DeepSeek 的 GRPO,可同时优化多响应属性,团队还提出自适应难度变体,实验显示 GFPO 在多方面表现出色。
你花80%精力调的AI,效果被 PDF 解析卡死了
做RAG时,花80%精力优化embedding和检索,效果上限却被PDF解析卡死。OpenDataLoader PDF靠不同架构在基准测试获第一,采用混合架构,还做了三件其他解析器不做的事,思路值得学习。
VLA 推理新范式!一致性模型 CEED-VLA 实现四倍加速!
近年来,VLA模型成机器人领域重要研究方向,但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略,在多基线模型上实现超4倍推理加速,实验验证其高效通用。
猹与猹发布丨好产品,值得被更多人看见!
猹与猹团队分享过去一年进展,先做AI产品大众点评「观猹」,举办黑客松活动,发布「TokenDance」。针对产品增长和内容创作痛点推出「猹与猹」,用OMG理论助AI团队,孵化优质内容。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。
豆包也开始抢程序员饭碗了,首个编程模型来了!
字节给豆包升级编程能力,推出首款编程模型Doubao - Seed - Code。它刷新国内编程模型上下文长度,支持视觉理解,API价格良心。经测试,虽未达全球顶尖,但弥补国产编程模型短板。
图灵奖得主首度入局中国物理AI公司:曹操出行凭什么?|甲子光年
Robotaxi行业竞争重点转向安全可信能力建设。6月29日,图灵奖得主约瑟夫·希发基思出任曹操出行AI创新中心首席科学顾问,其理论可补全自动驾驶可信论证体系,助曹操出行搭建全链路可信AI底层安全框架。
本科必学Dijkstra算法被超越!清华段然团队打破图灵奖得主证明的普遍最优性
本科经典算法Dijkstra被清华段然团队超越,新算法运行速度比任何Dijkstra及其改进算法都快,还解决了“排序障碍”问题。该算法改进了图灵奖得主Tarjan的算法,在理论和实际应用中意义重大。
详尽地带你从零开始设计实现一个AI Agent框架
文章详尽介绍AI Agent框架,从理论到实践,涵盖多种模式、主流框架对比,强调上下文工程是核心,还给出极简框架实现及应用示例,虽有不足但能助看清Agent本质。
CAG又回来了,这次它带着RAG!
文章对比CAG和RAG,指出CAG虽解决RAG部分痛点,但有根本限制,对海量变化知识库,RAG不可替代。Aurimas将二者结合做「动态混合层」效果好,还给出实施架构和关键点。