「推理驱动」共找到 2601 篇相关文章
高通要发两款AI推理芯片,资本市场反应强烈
高通周一宣布明年推AI200芯片,2027年跟进AI250,股价应声上涨。两款芯片基于移动神经处理技术,专攻AI模型部署,沙特AI公司已计划采用,高通想借此进军AI芯片市场。
妙笔生维:线稿驱动的三维场景视频自由编辑
研究人员提出基于线稿的三维场景视频编辑方法Sketch3DVE,相关论文发表于SIGGRAPH 2025。它能让用户基于线稿重塑三维场景视频,解决了现有方法个性化不足、真实感差等问题,支持单目图像三维视频合成和二次编辑。
AI 驱动的数据库心脏:如何让云原生「自我进化」
本文深度解析腾讯云自研云原生数据库 TDSQL - C,它融合 Serverless、AI 技术,解决传统数据库痛点。具备存算分离、智能伸缩、AI 预测等特性,能降本增效,还可全球部署,为企业数字化出海提供数据基座。
千星项目LLMRouter:多模型路由,16+策略优化推理
UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。
DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini
DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
PolarDB AI助手:自然语言驱动的智能数据库运维新范式
企业数据库运维复杂度高,专业人才稀缺成瓶颈。阿里云PolarDB推出AI助手,基于大语言模型与专家知识库,有智能问答等核心能力,以自然语言交互降低使用门槛,提升运维效率与系统稳定性。
SmartSearch:奖励驱动query精炼,让Agent中的RAG会“改错”
现有LLM搜索Agent忽视‘如何提问’致答案易出错。SmartSearch提出‘过程奖励+查询精炼’双机制,让Agent学会‘写不好就改’,代码已开源。经实验,它在六数据集全面领先,各机制缺一不可。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
算力基建金铲子:光模块如何驱动万亿级AI算力市场!
AI大模型训练让光模块成为决定AI集群性能的算力底座。2025年全球光模块市场规模预计达235.5亿美元,中国厂商主导全球市场。未来市场增长围绕1.6T商业化、CPO技术落地及车载通信等新场景展开。