搜索：训练导向问题

「训练导向问题」共找到 4888 篇相关文章

超越对数似然：模型能力连续体下的监督微调新范式

论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。

本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。

文章围绕「上下文图谱」展开，探讨其定义、构建问题及创业机会。指出它是决策轨迹积累形成的结构，构建要解决双时钟等问题。大厂难以捕捉决策轨迹，初创公司有三条路可走，捕捉决策轨迹或成新万亿级平台。

陶哲轩最新发帖称，GPT - 5帮他解决MathOverflow上的问题，证明序列lcm(1,2,…,n)并非高度丰数的子集。他与GPT - 5沟通生成参数，并用其生成的29行Python脚本验证，且未遇AI幻觉问题。这不是他首次用AI解题。

OpenClaw是开源AI Agent框架，引发全民热潮，中国大厂纷纷推出套壳产品。国产套壳产品上手难度低，但也存在问题。傅盛基于此养出AI团队，猎豹移动市值涨24%。不过，OpenClaw存在安全问题，背后是Token入口争夺战。

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。

文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。

本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。