「后训练系统」共找到 5104 篇相关文章
微调已死?Google 和斯坦福论文指出AI 学习新范式
Google的ReasoningBank和斯坦福的ACE两篇新论文引发热议,二者都在解决让AI系统真正学会学习的问题。前者是经验管理系统,后者让输入上下文进化,都绕开微调探索AI持续学习与自我改进能力。
首创Mid-training范式破解RL奥秘,Llama终于追平Qwen!
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异,提出中期训练策略,将 Llama 改造成适配 RL 的推理基础模型,缩小与 Qwen 性能差距,还发布了 MegaMath-Web-Pro-Max 数据集。
国内首个!加入六维力的全感知数采,让VLA模型进化出力触觉
具身智能发展受数据采集制约,开普勒机器人发布国内首个原生全感知力触数采系统,打通全链路闭环。该系统具平台化特征,让具身智能范式转变,还获融资并升级战略,在工业场景表现出色。
表格建模也能Scaling?树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练,在表格数据和行为序列预训练上有成果,验证了 Scaling Law,预示结构化数据建模范式将改变。
为什么堆算力救不了大模型
文章指出大模型和人类大脑归纳规律路径不同,AI追求精确但脆弱的拟合,人追求粗糙但不变的压缩。大模型在可收敛系统表现惊艳,不可收敛系统则崩盘,未来AI产品核心是打造可收敛封闭环境。
播客手记 01 | 极睿武彬:创业就是,我愿意过刀尖舔血的生活
本文讲述极睿科技武彬的创业历程。早期获融资后业务方向错误致公司濒临绝境,后转型对接传统商家获黄峥融资。疫情时他转型销售挽救公司,还成“网红”提升获客效率,他认为创业要回归商业本质。
吴恩达关注的Ling-1T背后,蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T,其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方,从架构、预训练、后训练对齐和基础设施四个层面构建推理模型,还分享失败教训,提供开源SOP。
刚刚,微软CEO 宣布:AI 医生诊断准确率已达85.5%,是人类医生的4倍
微软CEO宣布其AI诊断系统MAI - DxO在304个病例测试中诊断准确率达85.5%,是人类医生的4倍。该系统模拟虚拟医生团队,既准又省,但也引发诸多质疑,微软认为AI是医生补充,未来是人机协作时代。
256块NPU训成8B视频模型、超越Sora等一众闭源!抖音内容技术团队开源ContentV
近日,抖音内容技术团队开源ContentV,这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型,在多评估维度效果与主流方案相近,还探索了有限算力下训练路径,现推理代码与权重已开放。
SOTA级的Embedding模型!F2LLM模型、数据、代码全部开源,人人可用
Embedding 模型应用广泛,但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM,含 0.6B、1.7B、4B 系列模型,仅用六百万数据微调基座,在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。