算法论文8
字节跳动PMA革新大模型预训练
机器之心
AI 摘要
字节跳动Seed团队:提出PMA框架,在预训练阶段合并模型权重,稳定期合并、简单平均策略效果佳,还能解决训练难题。虽有高学习率和强化学习应用待研究,但为大模型训练提供新路径。
阅读原文 · 机器之心
字节Seed新作:模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文,提出预训练模型平均(PMA)技术。该技术将模型合并引入预训练阶段,可提升性能、预测衰减阶段表现,还能解决训练问题。不过,高学习率影响和强化学习应用待研究。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
飞书+豆包开启协同办公Agent时代
本文报道2026飞书未来无限大会,字节跳动发布完成系统性适Agent化改造的飞书8.0,以及国内首个团队智能体产品豆包工作伙伴,原生深度融合打造Agent时代协同办公新方案,披露企业AI选型新趋势,强调企业级AI安全。
量子位
产品应用8
豆包工作上新三大功能 主打无痛办公
本文带来字节跳动豆包工作三大新功能的一手实测,解析功能解决的AI办公核心痛点,探讨字节在Agent赛道的产品布局与商业化思路,分享真实使用体验。
特工宇宙
产品应用9
豆包工作更新 实测后我给满分
本文为新智元出品的实测文章,针对字节跳动豆包工作的最新三大更新展开体验测评,分析当前AI办公的核心痛点,验证新功能的实际解决效果,给出真实使用评价。
新智元
新闻资讯7
大厂Agent混战,10多个AI名品被“杀”
2026年8月AI圈组织架构调整频繁,阿里、字节整合多款产品,腾讯、百度也有动作。办公Agent成大厂混战核心,虽有产品被整合,但各厂优势不同,终局难测。
鲸选AI