「高性能Kernel」共找到 3432 篇相关文章
专为“超大模型而生”,新一代训练引擎 XTuner V1 开源!
9月8日,上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快,尤其在超大规模稀疏混合专家(MoE)模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
奖励模型也能Scaling!上海AI Lab突破强化学习短板,提出策略判别学习新范式
上海人工智能实验室提出策略判别学习(POLAR)新范式,解决奖励模型设计与训练瓶颈。POLAR可灵活适配多样需求,弥补传统奖励模型短板,契合强化微调框架,实验证明其性能和泛化性优越。
Jina Embeddings v4 的量化感知训练
文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率,对比四种主流量化方法,重点实验PTQ和Output QAT,还测试非对称量化,给出实验结果与结论。
社区供稿丨迈向AI4S 2.0,上海AI实验室开源书生万亿科学大模型Intern-S1-Pro
2月4日,上海人工智能实验室开源万亿参数科学多模态大模型Intern - S1 - Pro,为AI4S迈向2.0时代提供开源基座。其核心能力跃升,架构创新,协同通用与科学能力,还构建‘算力 - 算法’基座,高质量开源赋能生态。
重新思考RLVR中的熵正则:从探索不足到探索过度的破局之路
2024年以来,RLVR使大模型在推理任务有显著突破,但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端,研究团队提出SIREN方法精准调控探索,实验显示其在多模型和数据集上性能提升显著。
混元3D开源端到端全景深度估计器,代码+精选全景数据已上线,在线可玩
全景深度估计在3D视觉领域日益受关注,但因全景数据稀缺、球面畸变问题,以往方法零样本泛化和效率不佳。腾讯混元3D团队提出DA²,通过数据扩充引擎和SphereViT架构,提升性能,展现SOTA表现。
突发!微软与OpenAI同日开火:语音之战+通用大模型,AI霸权决战打响
OpenAI发布语音大模型时,微软同日推出自研语音模型MAI-Voice-1和通用模型MAI-1-preview。MAI-Voice-1效率高、表达丰富,MAI-1-preview采用MoE架构。微软此举在语音战场布局,也为与OpenAI谈判增加筹码。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
国产LLM又迎来一波开源潮:Qwen、华为盘古、腾讯混元、小米~
本周国产开源LLM集中爆发,Qwen、华为盘古、腾讯混元、小米等接连发布模型。如Qwen3 - 4B性能提升,Qwen - Image文生图能力强;华为开源盘古模型并宣布CANN开源;腾讯混元小尺寸模型特点多且已落地业务。
Anthropic 深夜发布 Claude Design,一句话生成 UI,百亿美元市值 Figma 股价跌了 4.6%
Anthropic 发布新产品 Claude Design,由 Claude Opus 4.7 支持,以研究预览形式向部分用户开放。它定位为设计师“搭子”,覆盖多设计工作流。网友评价高,但也有人指出其生成结果有同质化问题,对传统设计工具冲击待察。