「自奖励训练」共找到 3107 篇相关文章
豆包是如何炼成的?字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成,关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性,已部署超一年,效果显著。
何恺明首个语言模型:105M参数,不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF,不走GPT自回归老路。它将生成过程留在连续embedding空间,最后离散化变回token。ELF用较少参数、训练token和采样步数,跑赢主流扩散语言模型。
无需训练的3D生成加速新思路:西湖大学提出Fast3Dcache
在AIGC浪潮中,3D生成模型虽进化快,但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架,能在加速同时保持或提升模型几何质量。
开源即屠榜!UniME多模态框架登顶MMEB全球训练榜,刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME,刷新MMEB训练榜纪录。它是两阶段框架,经文本判别知识蒸馏和困难负样本增强指令微调,在多任务达SOTA,项目已开源。
蚂蚁VLDB最佳论文:用一张“逻辑表”驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据,解决数据准备难题,如在SFT任务中大幅缩短周期。
小扎不死心Manus“自研”了一个,但模型用的Claude……
Meta推出智能体平台Hatch,功能类似Manus,开发阶段用Claude,计划正式上线时切换到自研模型Muse Spark,10月推出新模型Watermelon。Hatch注重消费数字生活,与Meta社交生态深度绑定,高端订阅有默认分发优势,但面临真实环境考验。
马斯克生日惊喜!全球首例Model Y无人「自驾交付」,30分钟见证历史
昨天,一辆特斯拉Model Y从得州超级工厂无人自驾,最高时速115公里,30分钟到车主家门口,完成人类首次工厂到用户的闭环交付。马斯克激动祝贺,此场景复杂度超竞争对手。
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
75%预训练数据都能删!Jeff Dean新作:全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量,用元学习筛选有价值数据,提升模型训练效率。它能减少计算量、提高性能,在低质量数据集效果佳,还能跨模型规模泛化。
仅凭一篇博客,他成功入职OpenAI!核心技术或用于GPT-5训练
Keller Jordan设计Muon优化器并公开研究进展,引OpenAI和xAI关注,最终加入OpenAI。Muon性能卓越,或用于GPT - 5训练,其故事暗示传统论文模式在AI领域或已落伍。