搜索：推理性能优化

「推理性能优化」共找到 4188 篇相关文章

万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI

10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。

12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系，有五大核心亮点。

今天百度智能云千帆推出全新视觉理解模型Qianfan - VL并全面开源，含3B、8B和70B三个版本，基于自研昆仑芯P800计算。它特点多、性能优，应用场景广，未来还将推新产业级模型。

主打认知安全的缔零科技获数千万元天使轮融资，资金用于「缔零法则」技术迭代等。其产品以AI治理AI，降本增效。公司曾推「缔零智数」，现「缔零法则」把控模型推理。未来有ToC计划，想成用户安全助手。

Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。

文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。

在量子位MEET2026智能未来大会上，太初元碁乔梁表示，当下AI算力需求指数级增长，超智融合成行业共识。单颗芯片性能成瓶颈，太初元碁设计PC link实现芯片互联，还分享了HPC+AI在多领域的落地实践。

本文介绍C3仓库基于Qwen3 - Coder+RAG的代码评审实践，在CI流水线监听代码修改触发AI评审，可发现逻辑风险、拦截高危缺陷。该实践能提升评审效率与质量，可复用于代码门禁平台或辅助编程工具，当前仍在持续优化。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

百川智能创始人王小川与极客公园创始人张鹏长谈。百川曾快速扩张后调整，聚焦医疗。其新发布的医疗大模型Baichuan - M2性能优异，超OpenAI两开源模型。王小川认为造AI医生复杂，且AI家庭医生会比无人驾驶更早到来。