「数据中心动态训练」共找到 2591 篇相关文章
腾讯混元 TurboS 技术报告首次全公开:560B 参数混合 Mamba 架构,自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型,有自适应长短思维链机制,总参 560B。在多榜单成绩亮眼,多语种和多任务处理能力强,还介绍了核心创新、训练策略等。
大模型是否对问题难度有预判?最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针,定位负责难度感知的注意力头,还发现不同模型表现有差异。
超越谷歌Banana,字节联合香港中文大学等高校开源最强图像编辑生成系统DreamOmni2
香港多高校与字节跳动联合研发的DreamOmni2系统,实现图像编辑与生成领域SOTA。它用三步造出高质量数据,提出索引编码等方案,联合训练模型,实际效果超越部分商业模型,为AI创作带来新可能。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer(EBT),它能检查自身输出。训练时通过能量值优化预测概率向量,测试显示其泛化优但生成特定文本差,扩展性好,为高性能带来新可能。
最大开源第一视角数据集 EgoLive 来了,名校站台、近百家机构争相申请
今年4月京东开源业界最大人类第一视角数据集EgoLive,已获近百家机构申请。它用自研设备采集,经多模态处理,覆盖多场景任务。其数据用于JoyAI - RA训练,在真实场景验证效果好,还推动具身智能数据标准化。
ACL 2026|打破推理同质化!阿里达摩院新作让RLVR从重复采样走向有效探索
阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO,改进rollout策略,在关键节点生成更具区分度的推理轨迹,结合信息瓶颈自奖励机制,在多个数学基准上提升准确率与语义多样性。
上交大智能计算研究院论文:不只算对答案,大模型如何真正学会运筹建模丨ICLR 2026
上海交大智能计算研究院提出 StepORLM,通过生成式过程监督提升运筹建模可靠性。研究反思传统训练范式局限,在多数据集测试中,小参数的 StepORLM 表现超大型模型,还分析现有方法缺陷并提出解决框架,有重要方法论和应用意义。
Unsloth让大模型跑在手机上!
Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。
NVIDIA重磅开源!OmniVinci 仅 9B 模型就拿下多模态冠军!
英伟达推出全模态大语言模型 OmniVinci,架构有三大创新。OmniVinci - 9B 模型表现亮眼,多测试中大幅超 Qwen2.5 - Omni,且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解,还支持多种功能。
DASF:可落地,易执行的AI安全框架
随着AI广泛应用,安全担忧增加,需系统方法论梳理和消减风险。此前Google的SAIF框架原理完整但操作性差,此次介绍Databricks的DASF框架,具体易落地,介绍通用数据中心AI系统四阶段、12组件及62个安全风险与消减方法。