「高效推理」共找到 2494 篇相关文章
首次披露!DeepSeek V3 发布软硬一体协同训练论文,公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3:规模的挑战和对AI架构硬件的思考》,从硬件架构和模型设计双重视角,探索其经济高效的大规模训练和推理方法,介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
Gemini 3.5 Pro绝密泄露,前端赶超Fable 5!
全网被Gemini 3.5 Pro泄露刷屏,传闻7月17日发布。它在前端生成表现出色,一次成型、精准零失误,性能超Fable 5,但在硬核推理等任务上不如Fable 5和GPT - 5.6。谷歌为其重预训练,还准备对标GPT - Image 2的图像模型。
SAPO:让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一,但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO,用平滑门控函数替代硬剪切,实验效果良好。
超越Claude 3.5和o1!8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时,能分解任务提升回答准确率。8B的lemma3模型经此方法,在ARC和BBH数据集上性能显著提升,超Claude 3.5等。但该策略部署效率低。
一个运行了80年的算法,我们现在才真正理解它?
近80岁的单纯形法是优化领域基石,广泛用于包裹配送、飞机航线规划等,但此前没人能从理论上完美解释其高效原因。现在,Huiberts和Bach找到了谜题的最后一块拼图,不仅让算法更快,还从理论上解释了现象。
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
本文是对阿里通义千问Qwen多语言负责人杨宝嵩的专访。他透露Qwen一开始就将国际化视作核心战略,团队建立文化标注体系确保内容安全合规。还谈到多语言推理难题及应对策略,认为扩大模型规模和数据量仍重要,合成数据是延续Scaling Law的关键。
Claude最强领域被GPT反超!GPT 5.5最难编程基准破0
编程领域曾由Claude引领,如今GPT 5.5在大模型解决率为0%的最难编程基准上实现突破。程序重建基准测试(ProgramBench)考验严苛,过往模型解决率为0,GPT 5.5高和超高推理模式成功破局,展现了不同解题风格。
北大团队提出 SHINE:将任意文本转化为大模型 LoRA,仅需一次前向传播!
北大团队提出全新超网络架构 SHINE,仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数,支持多轮对话。该方法实用潜力大、架构创新高效,训练流程成熟,推理快速,为大模型持续学习提供新思路。
256块NPU训成8B视频模型、超越Sora等一众闭源!抖音内容技术团队开源ContentV
近日,抖音内容技术团队开源ContentV,这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型,在多评估维度效果与主流方案相近,还探索了有限算力下训练路径,现推理代码与权重已开放。
DeepMind哈萨比斯:AI能建模所有进化而来的事物
谷歌DeepMind首席执行官哈萨比斯在与莱克斯的对谈中,深入探讨了人工智能的未来,包括其在模拟物理现象、视频游戏开发中的应用,以及通用人工智能的潜在发展。他认为任何能通过进化形成的事物都能被AI高效建模,还分享了对多个AI相关问题的看法。