「DeepSeek V3/R1」共找到 2729 篇相关文章
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
刚刚,DeepSeek开源OCR 2,首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2,首创双流注意力架构,model&paper 一同发布。它重构视觉编码器,采用三阶段训练流程,在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
DeepSeek深夜炸场,开源了一个新项目&论文,V4打前站?
凌晨,DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力,在多方面实验表现出色,如推理任务增幅大于知识任务,还分析了其机理和系统效率。
从全局到部件:腾讯全新开源Hunyuan3D-Part和Omni
腾讯全新开源Hunyuan3D - Part和Omni。Hunyuan3D - Omni支持多模态输入,统一信号到跨模态架构提升融合鲁棒性。Hunyuan3D - Part含P3 - SAM和X - Part,分别用于部件分割与生成,在对应领域达先进水平。
Qwen 3-235B Aider编程能力击败Claude3.7,成本便宜百倍
Qwen3-235B-A22B在Aider多语言编码基准初步测试中击败Sonnet 3.7 Thinking和OpenAI o1,成本便宜150到600倍。Qwen3-32B准确率超GPT-4.5和GPT-4o ,代码编辑格式正确率达100%。
数学编码超越O3-high,英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集,采用Qwen2.5架构,基于500万条轨迹训练。评测输出长度最高64K token,多版本刷新SOTA。其‘heavy’模式有独特能力,32B版在数学与编程基准超越O3(High)。
DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。
DeepSeek-R2!?神秘模型惊现竞技场,真实身份引网友猜测
大模型竞技场秘密上线神秘模型steve,对话中它称来自DeepSeek。网友热烈讨论其身份,有R2、V4等猜测。同时,因CEO不满及可能缺芯片,DeepSeek的R2再度延期。
DeepSeek的GRPO会导致模型崩溃?看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO,重点指出Qwen团队发现GRPO有稳定性问题,会致模型崩溃,进而提出新算法GSPO,实验显示其效率和可扩展性更佳。
DeepSeek V4没做的,MiniCPM-o 4.5给做「全」了~
上周 DeepSeek V4 发布,遗憾不是多模态。今天 MiniCPM-o 4.5 补上短板,凭 9B 参数实现端到端全双工全模态大模型,自 2026 年 2 月发布后 Hugging Face 下载量超 25 万。还推出多项成果,性能表现出色。