「架构适配函数」共找到 2210 篇相关文章
为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长,MoE架构虽能避免计算量同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。
还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。
告别微调时代:拖拽式LLMs实现12000倍加速适配,输入描述,秒级定制LLM,效果、速度全面超越
传统高效微调技术成大规模部署瓶颈,论文提出Drag-and-Drop LLMs (DnD),仅需输入目标任务未标注提示,即可秒级生成适配的LoRA权重,实现LLM秒级免训练适配,效率、性能和泛化性上均有突破。
英伟达放弃GPU上LPU:新推理芯片被曝Groq即买即用,OpenAI第一个吃螃蟹
英伟达将在GTC大会发布新AI推理系统,核心芯片基于Groq的LPU架构,首位大客户是OpenAI。选择外部架构与时间窗口有关,推理场景中LPU更适配。同时,英伟达推理芯片面临诸多威胁。
Patreon 年度回顾中的架构经验
2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目,提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题,还分享多项目实操经验。
InfoQ 2025 年趋势报告:软件架构和设计
InfoQ 2025 年软件架构和设计趋势报告,借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势,如 LLM 普及但应用场景存疑,还有 Agentic AI、SLM 等创新领域,以及 RAG、AI 辅助开发等不同阶段趋势。
Excel上微软式创新!=COPILOT()函数发布
微软CEO宣布Excel新功能`=COPILOT()`函数,可在单元格直接调用AI。它能进行文本分析、生成内容、整理数据,与计算引擎集成,结果随数据自动更新。现处测试阶段,有调用限制和版本要求。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token,LLM式视觉编码器用双流注意力驱动因果建模等,还采用三级训练流水线提升效率。
摩尔线程新一代GPU架构10天后发布
2025年12月19 - 20日,摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力,主论坛将发布新一代GPU架构,还有20+技术专场和1000㎡科技嘉年华,官网已开放报名。