「大模型推理训练」共找到 8463 篇相关文章
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解大模型，公开3大核心创新技术。靠Slow - Fast视频编码等，在20 + 基准屠榜。它能精确视频定位，实验显示通用、视频理解和数学推理表现佳。
OpenAI算力账单曝光：70亿美元支出，大部分钱花在了“看不见的实验”
据Epoch AI统计，去年OpenAI计算资源支出70亿美元，多以租微软云算力支付。其中50亿研发算力，大多用于幕后研究和实验，非爆款模型的最终训练，也解释了其2024年亏损原因。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
中国AI芯片迎「华为时刻」
国内AI芯片市场正经历变革，“去英伟达化”成热词。科技巨头推动自研，9月国产芯片捷报频传，性能追赶超越英伟达。这既因地缘政治致供应链风险，也是AI从训练到推理转变下的必然选择。
OpenAI秘密项目曝出！百名投行精英密训AI，华尔街最贵苦力要失业了？
OpenAI秘密项目「Mercury」曝出，正高薪招募百名前投行精英训练财务模型，替代初级银行家重复性工作。业内认为这是其在算力成本高企下加速商业化与盈利的关键一步，也引发对银行从业者就业与成长的讨论。
全球首个IMO金牌AI诞生！谷歌Gemini碾碎奥数神话，拿下35分震惊裁判
谷歌DeepMind官宣Gemini Deep Think在IMO获官方认证金牌，4.5小时解5题得35分。它用纯英语解题，结合并行思考与强化学习训练。谷歌后续将向部分测试者及订阅者推出模型，还公开了解题过程。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。