「稀疏序列建模」共找到 404 篇相关文章
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
腾讯披露元宝已是TOP3应用
2025腾讯全球数字生态大会信息量大。腾讯元宝日活冲前三，混元3D建模精度提升3倍。C端产品逐步落地B端，如腾讯云CodeBuddy等。腾讯云还将带成熟生态出海，投资1.5亿美元在沙特建数据中心。
一文读懂深度表格数据表示学习 | 南京大学
南京大学团队系统介绍表格表示学习领域，将现有方法按泛化能力分三类，比较DNN与树模型优劣，剖析核心挑战，探讨扩展方向及数据集评估策略，旨在建跨数据集稳健评估体系。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
谷歌AlphaGenome横空出世！40亿年生命代码一键破解，或再夺诺奖
谷歌DeepMind发布AlphaGenome，可一次读取100万个DNA碱基，预测基因突变。它以长DNA序列为输入，预测数千种分子特性，克服了现有模型在序列长度和分辨率间的取舍问题，有望推动生物学研究和新疗法诞生。
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
视频生成不再「断片」：OneStory给模型装上「选择性记忆」，跨镜头讲故事人物场景始终如一丨CVPR'26
多镜头视频生成挑战大，现有方法有局限。Meta与哥本哈根大学研究者提出OneStory，为多镜头视频生成建立跨镜头记忆机制，可生成连贯长视频，在复杂叙事中保持一致。
大语言模型（LLM）到底是怎么运作的？（配图通俗讲解）
文章先介绍条件概率，指出大语言模型预测下一个单词是条件概率问题，会计算所有可能单词的条件概率选最高的。还提到直接选最高概率会使内容单调，引出温度概念，它能调整概率分布影响抽样结果。