「架构参数」共找到 2361 篇相关文章
阿里再开源,全球首个MoE视频生成模型登场,电影级美学效果一触即达
继上周开源三连发后,阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2,具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点,可在 Hugging Face 和阿里魔搭社区下载。
华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。
腾讯混元团队最新研究:让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》,尝试让模型在推理阶段根据输入实时动态生成适合任务的参数,而非依赖固定参数。通过多类实验验证,这种方式在图像编辑等任务中有明显优势,还降低了训练复杂度。
Thinking Machines新发现:Lora不是权宜之计,哪怕秩低到 1,也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知,实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系,有层选择、学习率等关键发现,还给出实用建议,但LoRA在部分场景表现待验证。
一文读懂 NVIDIA B30 与 H20 的区别 :参数、应用与国产替代全解析
本文解读英伟达B30与H20芯片差异,对比参数和应用场景。B30为中国市场定制,虽单卡性能逊于H20,但集群性价比高。还分析B30挑战及国产替代方案,指出其是美技术封锁2.0版本。
首次披露!DeepSeek V3 发布软硬一体协同训练论文,公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3:规模的挑战和对AI架构硬件的思考》,从硬件架构和模型设计双重视角,探索其经济高效的大规模训练和推理方法,介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
蚂蚁Ring-1T正式登场,万亿参数思考模型,数学能力对标IMO银牌
10月14日凌晨,蚂蚁万亿级思考模型Ring-1T正式登场,这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色,数学能力达IMO银牌水平,还展示了强大的代码、推理、写作等能力,其背后是IcePop算法与ASystem框架的支撑。
RAG系统设计:揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上,Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性,揭示其被低估原因,分析本质与作用,分享设计高效架构方法,还讨论KG驱动的RAG系统及范式选择。
全网首测!首款国产GPU「AI算力本」现场上手
新智元报道首款国产GPU「AI算力本」MTT AIBOOK,它搭载国产全功能显卡,预装开发环境,打破系统壁垒。其背后的MUSA架构全栈自研,软件升级、有翻译工具,硬件架构革新,还有开源计划,产品应用广泛。