「训练阶段」共找到 2584 篇相关文章
超越对数似然:模型能力连续体下的监督微调新范式
论文挑战监督微调(SFT)用负对数似然(NLL)作训练目标的默认设定,提出基于概率的目标家族,引入“模型能力连续体”概念,分析不同目标在不同模型能力下的表现,为模型后训练提供新优化方向。
5个月估值翻10倍,AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资,估值达32亿美元,5个月涨超10倍。它最初想开发AI智能体,后转收集训练材料。此赛道已有多家高估值公司,且数据隐私和安全风险待解。
Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。
GPT之父:只用上世纪数据训AI,它居然也会写Python?!
GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型,其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型,发现核心能力差距不大,且用老语料调教它成聊天助手时现风格问题。
LeCun亲自出镜打脸质疑者!憋了20年的AI世界模型,终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展,目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练,有两阶段训练细节,能用于机器人规划,Meta还发布三个基准测试,后续将研究分层和多模态JEPA模型。
小红书开源大模型dots.llm1,初次出手,小有惊艳!国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1,这是142B参数的MoE模型,仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大,训练效率高,数据处理精细,训练稳定,获国外网友高度关注。
让推荐学会思考:用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力,如今正靠近其训练范式。作者基于用户行为序列,用强化学习训练大模型理解序列关系,以预测用户下一个可能点击的资讯,并通过实验验证了该方法的可行性,还探讨了不同数据库中BM25算法的差异。
AI大模型开发核心技术栈:从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱,解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架;模型训练与微调有分布式训练、参数高效微调;推理优化含关键技术与主流框架;AI编程辅助工具分主流形态且有发展趋势。
R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。
阿里、南开大学发布免训练,视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性,传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor,用SCC方法和两步时空压缩策略,实验显示其性能优于其他方法。