「概念蒸馏训练策略」共找到 2511 篇相关文章
AI浪潮下的算力租赁：欺诈套利、资本炒作、主体脱钩
AI浪潮下，算力租赁市场乱象丛生，有上市公司‘炒概念’推高股价，消纳方套壳毁约‘零成本’，租赁方为订单内卷。不过，市场也在自我调整，国家也有调控举措，行业有望回正轨。
让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力
上海交大等团队推出多模态智能体训练方法 Visual-ARFT，让视觉语言模型有「工具智能体」能力，还开源项目。它能自动调用工具、拆解任务，团队构建 MAT-Bench 评测，其在多任务超 GPT-4o。
新SoTA方法RM-R1：让reward model对评分说出原因！超越GPT4o
过去模型‘黑箱打分’不透明、不灵活。论文提出ReasRM，经两阶段训练，让奖励模型像人类先思考再打分。它能分任务类型、动态奖励，实验中碾压GPT - 4，小模型逆袭，团队已开源6个模型。
科学家把大脑切片接上机械手，它自己学会了弹琴
法国国家科学研究中心等机构研究人员将死者脑切片放培养皿，连接机械手，经训练机械手学会曲子。研究证实学习依赖神经活动，虽成果距应用远，但为脑科学研究提供观察窗口，也引发伦理思考。
自媒体误读了 DeepSeek-OCR：一图胜千言
近期，DeepSeek-OCR引发关注，但很多媒体误读其为OCR工具，实际是视觉语言模型。它是为大文档等场景优化的视觉压缩与识别系统，架构新颖，训练讲究，效果出色，为行业带来新思路。
具身智能从此「边听边说」，智源研究院开源原生全双工语音大模型RoboBrain-Audio
北京智源研究院联合多方发布原生全双工语音对话大模型 RoboBrain - Audio，采用新架构和创新训练范式，在性能上全面领先，革新音频 - 文本对齐方式，丰富了 RoboBrain 全栈体系，推动具身智能发展。
腾讯提出SPO，告别Group
腾讯团队提出Single - stream Policy Optimization（SPO），回归单流策略梯度范式，解决组基方法瓶颈。它有多项亮点，如告别组同步、采用自适应价值跟踪等，在实验中提升了模型性能和训练吞吐。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。
上下文工程比提示词工程好 10 倍，比 vibe 编码好 100 倍！Karpathy 站台，堪称「全新的氛围编码」。
Andrej Karpathy 提出「上下文工程」概念，Shopify CEO 更青睐它。研究显示开发者因 AI 幻觉和错误多，不信任其生成代码。上下文工程可成 AI 辅助开发核心技能，文中还介绍了相关开源项目及使用方法。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。