「多租户服务」共找到 4543 篇相关文章
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
从扫街榜到Robotaxi，空间智能彻底打开了高德的想象空间
这周一，一张神秘海报引发对高德的猜测。11月5日，高德宣布与小鹏合作提供Robotaxi服务。其空间智能形成闭环，比语言模型更接近AGI，还能为Robotaxi提供安全保证，且在多领域有落地应用。
明天上市，MiniMax上市额度已经被抢疯了
大模型公司MiniMax 1月9日将敲钟上市，创下港股IPO机构认购记录，超460家机构参与认购，超额认购70多倍。它受头部基金青睐，暗盘涨幅24.6%，收入源于AI产品与服务，部分投资者看好其收支平衡。
超10万亿Tokens的高质量数据集是怎么炼成的？专访中国电信天翼AI阮宜龙
中国电信天翼AI打造超10万亿Tokens高质量数据集，依托星辰MaaS平台构建“数据—模型—服务”闭环。其与研究院推进技术研发并落地产品，建“三全”星辰大模型体系，还在多行业展现应用价值。
又上Trending，这个项目赋予AI灵性，可以和你一起玩游戏看电视！
项目 AIRI 可让用户轻松拥有数字生命。与其他项目不同，它支持多种 Web 技术，能在现代浏览器和设备运行，还能玩游戏、看视频。目前已完成部分基础功能，支持众多 LLM API 服务，还衍生出多个子项目。
硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台
硅基流动完成数亿元 A 轮融资，由阿里云领投。创始人袁进辉称业务因开源大模型崛起和算力需求激增爆发式增长。公司推出高性能推理引擎等，产品服务多个行业，未来将深耕创新、推动 AI 应用。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
视觉语言模型“扫地僧”：360低调开源FG-CLIP2登顶29项全球基准测试 | 甲子光年
两周前，360人工智能研究院低调开源FG - CLIP2，它在29个公开基准测试中超越Google和Meta的模型。该模型实现局部细粒度识别和原生双语对齐，为AI视觉理解设新基准，已服务开发者并在多领域落地。
开源大模型SOTA又刷新！中国MiniMax M2全球排名第五，开源榜一
中国AI独角兽MiniMax发布模型M2，刷新开源SOTA。它采用混合专家架构，平衡了智能、速度和成本。在多个权威测试中表现优异，价格仅为Claude 3.5 Sonnet的8%，还提供多种部署方式和限时免费服务。
具身数据才是最大「金矿」，数据云商城来了：全球首个、百亿级、全模态、高自由度
帕西尼联合京东云等打造的全球首个百亿级全模态具身智能数据云商城开放。该平台解决具身智能泛化瓶颈，提供全模态数据，有端到端服务，数据质量高、体量大，还能加速具身智能进化，赋能多行业。