「训练效率」共找到 3081 篇相关文章
DeepSeek-R2尚未问世,微软小模型捡漏称王?6000样本炼出「数学作弊器」!
微软推出Phi-4推理模型系列,参数最多14B,能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型,且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。
小模型用不好Skill?新范式让模型学会Skill的底层逻辑,3B模型推理token省5倍,性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0,提出技能内化思路。它在训练中引入关键机制,让小模型把技能内化到参数里。实验显示,其效果出色,token效率高,为小模型成领域专家提供新方向。
CNSNS|西工大曹文博、张伟伟:克服优化求解器中的损失条件数瓶颈:一种良性损失函数
基于优化的偏微分方程求解方法受关注,但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈,指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR,在收敛速度与稳定性间建立平衡,实验验证其有效性。
刚刚,中国AI闯入全球编程前二!前面只剩Claude
Code Arena最新榜单出炉,Qwen3.7 - Max以1541分冲进全球第四,是前五中唯一非Claude模型。它在多项测试中表现出色,是为长时间自主执行任务设计的Agent基座模型,编程跃升或与环境扩展、长程自主执行训练方法升级有关。
解析科大讯飞:把AI做成懂你的那一个|甲子光年
2025年中美AI发展路径分化,中国企业探索本土商业化道路。科大讯飞董事长刘庆峰提出自主可控、软硬一体、行业纵深、个性化四个关键词。其用华为昇腾芯片训练出可商用大模型,在多领域展现优势,还发布新功能和产品,为AI商业化提供“中国答案”。
小扎「梦之队」首批论文上线!LLM自举进化,单步性能狂飙22%
Meta超级实验室MSL新论文探索用强化学习微调大语言模型。提出探索迭代(ExIt)法,基于RL自动课程学习,训练仅需单步任务,模型学会多步自我改进。在MLE - bench上,ExIt相对GRPO提升约22%。
谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。
拒绝视频生成,深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5,放弃基于视频生成模型的路线,训练时联合学习动作与未来世界表征,推理时移除该表征分支。在真机实验中表现超基线,具跨背景泛化能力,为世界模型提供新思路。
全网最强万字解读:DeepSeek-V4 掀翻了谁的桌子? | GAIR live 030
文章深度解读了DeepSeek-V4,从产业、生态和架构维度拆解其效率账本。它成本低,补齐短板适配昇腾芯片,但极致省钱也有代价,如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。
500万次围观,1X把「世界模型」真正用在了机器人NEO身上
1X公司为机器人NEO引入1X World Model,使其学会‘想象’。该模型借助视频预训练,不依赖大规模机器人数据和遥操作演示,能泛化到新场景。实验显示其在多任务上表现不错,但精细操作有挑战。