「数据瓶颈」共找到 2939 篇相关文章
稳定训练、数据高效,清华大学提出「流策略」强化学习新方法SAC Flow
本文介绍清华大学和CMU提出的SAC Flow新方案,可端到端优化流策略。它将流策略视作residual RNN,用GRU和Transformer结构稳定训练。在多环境测试中表现优,有稳定、快速、样本效率高的特点。
从社区数据出发,再看大模型开源开发生态全景与趋势
蚂蚁开源先后在527蚂蚁技术日和外滩大会发布大模型开发生态开源项目全景图1.0和2.0版本。2.0版更新评估方法,呈现生态新变化,还分析技术趋势、开发者分布,提及项目进出情况及TensorFlow衰落等。
以为Anthropic全是科学家?数据告诉你,他们要的是基础设施老兵
Fonzi AI人才工程主管Seb分析1680份Anthropic工程师简历,发现其核心人才是资深基础设施建设者。工程团队18个月从零膨胀,Google是最大人才池,博士仅占13.7%,头衔扁平化。
没想到,又一个Code Agents瓶颈,被美团&上交大彻底撕开了~
AI写代码能力提升,但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench,让AI出题人审核,还训练裁判PRDJudge,提升打分准确率与稳定性,促使AI学会‘看懂需求’。
何恺明组三位本科生领衔!持续聚焦Flow模型,突破归一化流生成效率瓶颈
何恺明团队新作聚焦Flow模型,提出双向归一化流(BiFlow)框架,解耦前向与逆向过程,打破传统归一化流生成模型效率低下问题。三位一作是本科生,实验显示其速度和质量表现出色。
字节跳动:Apache Doris + AI 一站式融合数据引擎的探索与实践
本文整理自字节跳动 DataMind 负责人演讲,介绍了基于 Apache Doris 打造的一站式引擎 DataMind。它集成 Hybrid Search、AI Function、GraphRAG 等能力,部分成果已贡献开源,还给出企业级 AI 问数落地方案。
打破长视频理解瓶颈:HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳,CMU和小红书团队深入研究,首次提出多模态RoPE扩展策略理论评估框架,指出现有泛化能力不足原因,提出HoPE大幅提升VLM长度泛化能力。
突破通用领域推理的瓶颈!清华NLP实验室强化学习新研究RLPR
现有基于可验证奖励的强化学习(RLVR)应用范围局限,清华自然语言处理实验室提出 RLPR 技术,通过 Prob - to - Reward 提高概率奖励质量,有领域无关等特点,相关代码等已开源。
华为| 祭出FlashComm1,FlashComm2、FlashComm3,解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下,华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信,提升推理性能;FlashComm 2重构计算流程,提升推理速度;FlashComm 3实现多流并行,激增模型吞吐。
535B大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺
当多数模型公司还在争论是否开放权重时,斯坦福大学的Marin项目启动535B-A23B模型训练,并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设,引发关注。