「训练方案」共找到 2845 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
中国AI高速路，华为给出开源开放方案
上周华为全联接大会展示系列创新。超节点架构带动的开源开放意义深远，开放硬件、开源软件和灵衢组件。华为发布系列超节点新品，实现全场景覆盖，同时全面开放开源，推动产业协同与生态繁荣。
天下苦CUDA久矣，又一国产方案上桌了
AI开发中，国产硬件增多，但开发者仍依赖进口生态。KernelCAT作为国产AI Agent应运而生，它能开发高性能算子，在昇腾芯片测试中表现出色，还能助力模型在国产平台高效迁移，限时免费内测。
Databricks开源限流方案，抛弃redis，性能提升10倍
Databricks 开源高性能限流系统设计，抛弃 Redis，通过内存分片和批量上报机制，实现 10 倍性能提升。还将限流算法改为令牌桶，解决了精度控制、在线迁移等问题，权衡了分布式一致性。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
AI研发新范式：基于技术方案全链路生成代码
文章指出过往代码补全方式存在局限，腾讯广告审核团队探索新AI开发范式。介绍业界AWS、Lovable范式，阐述审核团队实践范式，含定义、技术选型、过程标准化等，还提及进展、困难与未来展望。
下一代数据中心和高性能计算OIO光互连技术方案！
文章深度解析OIO芯片级光互连技术、挑战与未来。传统电I/O技术有性能受限等问题，OIO能解决大容量芯片I/O扇出难题，是光电融合终极形态。它虽面临量产挑战，但前景好，全球产业力量已集结。