「训练技术」共找到 4597 篇相关文章
超越对数似然：模型能力连续体下的监督微调新范式
论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。
5个月估值翻10倍，AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。
OpenAI Astra被曝引入「循环深度」能力飙升！安全专家坐不住了
OpenAI 最强新模型 Astra 或即将发布，它是首个达「关键级」网络安全能力门槛的模型，在测试中表现优异。《The Information》爆料其用「循环深度」技术，能力提升但引发安全专家担忧，该技术可使模型内部计算增多，思维链监控或失效。
GPT之父：只用上世纪数据训AI，它居然也会写Python？！
GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型，其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型，发现核心能力差距不大，且用老语料调教它成聊天助手时现风格问题。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
你的扫描全能王，作价217亿冲刺港股IPO
扫描全能王母公司合合信息拟作价217亿赴港IPO，冲刺“A+H”双重上市。其C端有扫描全能王等产品，B端有TextIn等产品。合合以文本智能技术为核心，打造三大技术平台，C端靠付费订阅、B端卖产品模块盈利。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。