「预发布模型」共找到 8973 篇相关文章
舍弃自回归,离散扩散语言模型如何演化?NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文,梳理离散扩散方向研究图谱,对比自回归局限与离散扩散优势,阐述数理基础、模型生态、训练与推理技术,还提及应用及未来方向,显示其对自回归范式的替代潜力。
其实,扩散语言模型在最终解码之前很久,就已确定最终答案
随着扩散语言模型(DLM)发展,它成自回归(AR)模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象,提出 Prophet 策略,实验显示其能在保持高质量生成时显著加速推理。
破局大模型推理困局!华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲,围绕大模型推理优化,从模型、框架、算子层展开,结合案例阐述技术方案。分析大模型推理现状挑战,介绍加速技术,分享昇腾硬件算子优化实践及通算融合算子优化方法。
RL训练总崩溃?R1-Reward稳定解锁奖励模型Long-Cot推理能力
多模态奖励模型对提升多模态大语言模型表现至关重要,但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward,解决训练不稳定等问题,在基准上超SOTA模型,还在快手业务场景成功应用。
AI真能搞钱了!这家公司把大模型玩成闭环赚钱机器
当全行业还在卷大模型参数、烧算力时,零犀科技走出不同路。其自研因果大模型,用AI智能体帮企业提升销售。2025年已实现规模盈利,成为最早跑通商业闭环的大模型应用公司。
多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。
Thinking Machine新研究刷屏!结合RL+微调优势,小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法,结合RL与微调优势。该方法让学生模型每步由教师模型指导,用KL散度评估分歧。实验表明其训练小模型性价比高,还能解决AI“灾难性遗忘”问题。
从MiniMax到DeepSeek:为何头部大模型都在押注「交错思维」?
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩,MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点,解决了状态漂移问题,正成高性能 Agent 模型标配。M2 既强又省,还给出使用最佳实践。
横扫海外的阿里大模型,有自己的APP了,叫“千问”
11月17日,阿里巴巴上线“千问App”,将Qwen系列模型装进面向C端用户的独立App。它设计极简,功能强大,免费使用。主模型为Qwen3,问答结构化,多模态交互方便,还有翻译等特色功能,背后是强大的Qwen模型生态。
火山引擎 veFuser:面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破,但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架,能在图片和视频生成上实现低延迟、低成本的高质量体验,且未来会持续迭代。