「代码实验」共找到 2811 篇相关文章
codex负责人:codex就要过时了
Codex负责人称两三个月后Codex将过时,因下一代模型要处理大规模并发Agent,非其能应对。Huggingface实验显示大小模型在不同harness下排名差异大,脱离模型谈harness过时或不适配说模型Agent能力都不妥。
刚刚,智元提出SOP,让VLA模型在真实世界实现可扩展的在线进化
智元具身研究中心提出SOP框架,可让VLA模型在真实世界实现可扩展的在线进化。它是颠覆性的机器人学习新范式,整合在线、分布式和多任务机制,构建闭环打破机器人认知时间边界。实验显示其性能优越。
刚刚,OpenAI前CTO:战胜LLM不确定性的方法找到了!
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化,而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
攻克AI过度思考难题!美团新研究让通过“可验证”过程奖励激活LRM的高效推理
美团等机构研究团队针对LRM“过度思考”问题,提出可验证的过程奖励机制(VSRM)。它结合可验证奖励与步骤级奖励,为推理步骤分配奖励信号。实验显示其能降低输出长度并保持性能。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引,深入剖析深度神经网络训练的五大核心步骤,涵盖前向传播、计算损失、反向传播、更新参数和循环训练,还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
李飞飞团队新作:DiT不训练直接改架构,模型深度减半,质量还提高了
本文介绍「嫁接」技术,可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练,替换算子创建混合架构,保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
一招缓解LLM偏科!调整训练集组成,“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法,可提升LLM综合性能。研究发现SFT阶段数据数量非关键,配比不当会加剧模型“偏科”。以Llama3.1 8B测试,IDEAL能提升代码能力,还指导了超参数选取。
首创TTFA指标!港大团队开源FASTER,让VLA模型真正实现「即刻响应」
港大团队提出FASTER,重新审视动作分块策略的反应延迟问题,提出快速动作采样方法。它即插即用,已开源。通过Horizon - Aware Schedule等创新,降低TTFA、提高闭环频率,实验显示能显著提升VLA反应能力。
DeepSeek悄悄更新:Mega MoE、FP4 Indexer来了
昨天下午,DeepSeek 更新了 DeepGEMM 代码库,带来新东西 Mega MoE。它将 MoE 计算流程整合,让数据通信和计算同时发生,提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等,是基础设施层重构尝试。
清华朱军团队Nature Machine Intelligence:多模态扩散模型实现心血管信号实时全面监测
清华朱军等团队提出多模态生成框架 UniCardio,在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构,结合持续学习范式,实验表现优,有望用于多领域。