「混合部署」共找到 897 篇相关文章
6.1B打平40B Dense模型,蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0,其以轻量级配置展现卓越性能,在推理速度、任务性能、部署成本间找到新平衡,为大模型‘参数膨胀’提供新路径,还在多领域应用表现出色。
专为“超大模型而生”,新一代训练引擎 XTuner V1 开源!
9月8日,上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快,尤其在超大规模稀疏混合专家(MoE)模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。
AI三问:Agent、LLM、RAG,一文厘清!
文章介绍大语言模型(LLM)、检索增强生成(RAG)和AI智能体(Agent)三种架构。阐述其概念、工作原理、应用场景、优缺点,还做了横向对比,给出选用建议,最后提及混合架构与未来趋势。
9K Star 开源工作流爆火!超轻量直观的AI Agent 工作流构建器!
在AI应用开发领域,将大语言模型与业务逻辑和外部工具结合是重点。GitHub上获9K Star的Sim项目是AI Agent工作流构建器,提供Figma式拖拽界面,无需手写代码,降低配置、调用和部署门槛。
京东发布业界首个/开源/高完成度/轻量化「通用AI智能体产品」。
京东跨界推出业界首个开源高完成度轻量化通用智能体产品JoyAgent - JDGenie。它开箱即用、轻量可自部署,内置多种子智能体与工具,还给出二次开发示例,有多层次多模式思维等创新点。
万字对谈 Physical Intelligence(π):具身智能的卡点和下一步突破,到底在哪?
本文是对Physical Intelligence联创兼CEO和核心研究科学家的访谈。他们探讨具身智能现状,指出当前瓶颈是智能软件,还谈到VLM性能、数据收集、模型训练等问题,认为通用机器人基础模型被低估。
数据库厂商入局AI又有新思路,OceanBase选择“卖铲子”
国产数据库厂商 OceanBase 入局 AI 有新思路,近期动作频频。其云数据库业务 OB Cloud 实现 AI 能力开发部署并与多平台集成,已在多行业落地。副总裁尹博学谈其 AI 战略逻辑、面临挑战及未来趋势等。
李飞飞团队新作:DiT不训练直接改架构,模型深度减半,质量还提高了
本文介绍「嫁接」技术,可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练,替换算子创建混合架构,保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
超越 GoF:现代 AI 系统实用设计模式
文章指出AI系统需要设计模式,如GoF塑造软件设计,云计算引入新模式,机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式,含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等,并举例说明。
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。