推理驱动」共找到 2601 篇相关文章

新闻资讯7

高通要发两款AI推理芯片,资本市场反应强烈

高通周一宣布明年推AI200芯片,2027年跟进AI250,股价应声上涨。两款芯片基于移动神经处理技术,专攻AI模型部署,沙特AI公司已计划采用,高通想借此进军AI芯片市场。

AI工程化
算法论文8

妙笔生维:线稿驱动的三维场景视频自由编辑

研究人员提出基于线稿的三维场景视频编辑方法Sketch3DVE,相关论文发表于SIGGRAPH 2025。它能让用户基于线稿重塑三维场景视频,解决了现有方法个性化不足、真实感差等问题,支持单目图像三维视频合成和二次编辑。

机器之心
产品应用8

AI 驱动的数据库心脏:如何让云原生「自我进化」

本文深度解析腾讯云自研云原生数据库 TDSQL - C,它融合 Serverless、AI 技术,解决传统数据库痛点。具备存算分离、智能伸缩、AI 预测等特性,能降本增效,还可全球部署,为企业数字化出海提供数据基座。

InfoQ
开源动态8

千星项目LLMRouter:多模型路由,16+策略优化推理

UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。

新智元
开源动态8

DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini

DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。

新智元
技术实践8

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。

阿里云开发者
产品应用8

PolarDB AI助手:自然语言驱动的智能数据库运维新范式

企业数据库运维复杂度高,专业人才稀缺成瓶颈。阿里云PolarDB推出AI助手,基于大语言模型与专家知识库,有智能问答等核心能力,以自然语言交互降低使用门槛,提升运维效率与系统稳定性。

阿里云开发者
算法论文8

SmartSearch:奖励驱动query精炼,让Agent中的RAG会“改错”

现有LLM搜索Agent忽视‘如何提问’致答案易出错。SmartSearch提出‘过程奖励+查询精炼’双机制,让Agent学会‘写不好就改’,代码已开源。经实验,它在六数据集全面领先,各机制缺一不可。

PaperAgent
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
推荐文章8

算力基建金铲子:光模块如何驱动万亿级AI算力市场!

AI大模型训练让光模块成为决定AI集群性能的算力底座。2025年全球光模块市场规模预计达235.5亿美元,中国厂商主导全球市场。未来市场增长围绕1.6T商业化、CPO技术落地及车载通信等新场景展开。

芯师爷