「三阶段训练」共找到 3254 篇相关文章
超越对数似然:模型能力连续体下的监督微调新范式
论文挑战监督微调(SFT)用负对数似然(NLL)作训练目标的默认设定,提出基于概率的目标家族,引入“模型能力连续体”概念,分析不同目标在不同模型能力下的表现,为模型后训练提供新优化方向。
5个月估值翻10倍,AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资,估值达32亿美元,5个月涨超10倍。它最初想开发AI智能体,后转收集训练材料。此赛道已有多家高估值公司,且数据隐私和安全风险待解。
Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。
GPT之父:只用上世纪数据训AI,它居然也会写Python?!
GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型,其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型,发现核心能力差距不大,且用老语料调教它成聊天助手时现风格问题。
LeCun亲自出镜打脸质疑者!憋了20年的AI世界模型,终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展,目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练,有两阶段训练细节,能用于机器人规划,Meta还发布三个基准测试,后续将研究分层和多模态JEPA模型。
小红书开源大模型dots.llm1,初次出手,小有惊艳!国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1,这是142B参数的MoE模型,仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大,训练效率高,数据处理精细,训练稳定,获国外网友高度关注。
让推荐学会思考:用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力,如今正靠近其训练范式。作者基于用户行为序列,用强化学习训练大模型理解序列关系,以预测用户下一个可能点击的资讯,并通过实验验证了该方法的可行性,还探讨了不同数据库中BM25算法的差异。
AI大模型开发核心技术栈:从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱,解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架;模型训练与微调有分布式训练、参数高效微调;推理优化含关键技术与主流框架;AI编程辅助工具分主流形态且有发展趋势。
Claude 最歧视的,是印度阿三
AI研究员Aran Komatsuzaki实验发现,Claude的tokenizer对非英语用户不友好,印地语用户消耗token是英语的3.24倍,带来高成本、高延迟等问题。不同模型对不同语言token处理有差异,市场份额影响token效率。
英特尔三季度营业利润创一年来新高
10月24日英特尔公布2025年第三季度财报,营收137亿美元同比增3%,营业利润15亿美元创一年新高。各业务有不同表现,还在本季度获政府资金、与NVIDIA合作等,强化了资产负债表。