「动态计算削减」共找到 1037 篇相关文章
一文看懂华为昇腾芯片
文章介绍华为昇腾芯片,它是面向高性能AI计算的NPU芯片,有昇腾310、910、610等系列。还提及芯片演进、参数、价格、出货量等情况,以及基于芯片的硬件体系,覆盖多场景满足不同需求。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
AI时代终端大变局
随着算法、芯片、场景深度融合,端侧AI计算成终端智能化核心引擎,重塑IoT终端应用场景智能体验。端侧AI芯片作为技术底座,正重塑终端产业格局,虽面临挑战,但未来前景广阔。
大模型「越用越快」!SpeedupLLM首次验证,大降56%推理预算
Emory大学研究者提出SpeedupLLM框架,利用动态计算资源分配和记忆机制,使LLM处理相似任务时推理成本降56%、准确率提升,论文系统性验证了LLM“越用越快”,为AI模型发展提供新思路。
Meta 新成立超级智能实验室,让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室(MSL),首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码,减少计算量和延迟,在多任务测试中表现出色,为大模型部署提供实用方案。
英伟达发布物理AI和机器人顶级开发平台Nvidia Jetson Thor
英伟达官网发布专为物理AI和类人机器人打造的顶级平台Nvidia Jetson Thor。其AI计算能力强劲,相比NVIDIA AGX Orin性能和能效大幅提升,硬件配置、存储、多媒体处理及相机支持等方面表现出色,能应对复杂场景。
上交大 x vivo 团队:一个简单改动,让 diffusion 全面提升丨CVPR 2026
上交大与 vivo 团队提出 C²FG 方法,针对当前 diffusion 模型缺稳定可控生成机制问题,通过 score 差异实现动态引导控制。实验显示,该方法能提升多维度指标,改进生成分布,揭示生成机制新方向。
成立五年,这家国产EDA公司冲刺IPO
据上海证券报报道,上海合见工业软件集团股份有限公司于12月26日提交IPO辅导备案申请。合见工软作为国内EDA领域领军企业,填补多项空白,助力国产替代。“超节点计算”带来新挑战,也为国产企业提供机遇。
美国开源被中国甩在身后,套壳创业者更遭惨烈清算!OpenRouter CEO:天天乱用高价AI的员工要小心了
顶级科技播客20VC访谈OpenRouter联合创始人兼CEO Alex Atallah。他指出美国开源大模型落后中国,企业怕依赖巨头,AI时代员工成本应动态化,还探讨了模型生态、路由技术等行业热点。
ACL 2025 | 清华&港中文提出 MorphMark:全新理论视角破解大模型水印效力与文本质量的两难困境
随着大模型广泛应用,AI 生成内容追溯和版权保护成问题,现有水印技术面临效力与文本质量的矛盾。清华和港中文团队提出 MorphMark 自适应水印框架,动态调强度,在多模型实验中表现优。