产品应用7

昇腾推理：vLLM与MindIE性能大比拼

AI寒武纪2025-06-16

AI 摘要

文章通过GPUStack平台对昇腾NPU上vLLM Ascend和MindIE进行推理性能测试。结果显示，vLLM在单卡和高并发表现优，MindIE多卡部署强，选型要结合业务与资源，还呼吁国产AI算力生态开源协作。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

人脑信号可引导大语言模型鲁棒推理

本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。

当前大语言模型长期记忆方案均基于相似度检索，存在结构性盲区，无法在无字面/语义相似时召回关联记忆。腾讯团队提出T-Mem，实现AI联想回忆，已被EMNLP 2026接收，代码开源并上线QQ AI伙伴。

本文是DeeplearningAI《The Batch》的最新报道，汤森路透推出法律、新闻、金融领域定制大语言模型Thomson，基于Qwen构建，性能优于多款通用大模型，小版本将开源供非商业使用。

Astra发布，OpenAI联合创始人宣布AGI时代降临。虽官网文章曾“404”，但GPT - 6 Astra已问世。它在多项测试近乎满分，还在内测中展现强大能力，如PCB自动布局布线等，也突破诸多数学难题。