RAG性能优化」共找到 3014 篇相关文章

产品应用7

昇腾910B大模型实测:开源框架能不能打?真相全放这了

文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。

探索AGI
新闻资讯7

o3崛起,但推理模型离「撞墙」只剩一年?

OpenAI的o3推理模型诞生不到一年能力突飞猛进,算力暴增10倍。但Epoch AI等警告,最多一年推理模型或撞上算力资源极限。还从其他模型和业内人士看法分析推理算力,指出算力与性能有关联,也有发展瓶颈。

新智元
算法论文8

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。

量子位
新闻资讯7

初稿出炉:首部AI数据标注合规标准,欢迎参与起草与研讨

数据标注影响大模型性能,国家正推进数据标注产业发展,但行业合规问题突出。智合标准中心启动《面向人工智能的数据标注合规指南》团体标准研制,初稿已出,邀多方参与起草,标准将助AI企业解决合规难题。

AI工程化
开源动态8

狂揽81.8K star!Google Firebase 免费开源替代,真香啊~

在开发中后端搭建常令人困扰,Supabase作为开源的Firebase替代品出现。它基于一系列开源工具构建,提供完整且易用的后端解决方案,涵盖数据库管理等多项功能,有多种性能特色,还介绍了使用方法和体验,值得开发者尝试。

开源先锋
新闻资讯7

突发,Fable 5.1泄露了!Claude又叒叕全球大宕机

今日,Fable 5.1被曝开启灰度测试,部分Claude用户已免费试用。推测其可能很快全量推送且不涨价。此前Fable 5因性能强受限,开发者期待5.1版。同日Claude全球大宕机,Anthropic正冲刺万亿估值。

新智元
新闻资讯7

DeepSeek,Qwen,Grok组团发布,社区一手实测

LLM大爆发,一天内推出Grok 4.6、Qwen3.8 - Max、DeepSeek - V4 - Pro - 0813三款前沿产品。社区对它们进行多场景测试,如3D场景、Flappy游戏、飞机滑行动画等,并对比了不同模型的性能、价格和输出质量。

PaperAgent
算法论文8

一个场景吃掉700MB显存!3DGS存储焦虑怎么解?这篇综述划了五个方向

过去三年,3D Gaussian Splatting(3DGS)成实时3D场景重建与新视角合成“默认答案”,但场景拓展后有显存、带宽和功耗限制。香港科大等联合发布综述,从底层数据流组织技术版图,给出优化建议和未来方向。

量子位
新闻资讯8

OpenAI曝出第一颗芯片叫「辣椒」!AI自己设计,9个月流片

OpenAI首颗自研芯片Jalapeño问世,9个月从白纸到流片,创行业最快纪录。该芯片专为大模型推理设计,由其AI参与设计优化,有望降低推理成本,提升用户体验。OpenAI欲做全栈AI公司。

新智元
新闻资讯7

伏曦量子完成天使及天使+轮融资,五源资本、启盈同创等跟投

近日,伏曦量子宣布完成天使及天使+轮融资,由全球动力电池行业龙头领投,多家机构跟投。该公司由赵琦博士创立,定位是帮助产业客户理解和使用量子算力,其核心价值是优化算法,让问题可在近期硬件测试。

DeepTech深科技