搜索：Attention性能瓶颈

「Attention性能瓶颈」共找到 2444 篇相关文章

【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化

这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。

Anthropic发布Claude Opus 4.1模型，在各指标上超越Opus 4。Anthropic ARR达50亿美元，API收入首超OpenAI。新模型在多场景有进步，官网等渠道统一可用，还给出Claude Code使用建议。

单图像3D重建是计算机视觉难题，传统基于回归和生成式方法各有局限。Stability - AI开源SPAR3D模型，融合两种方法规避局限，仅0.7秒完成单图实时3D重建，实验显示性能显著优于其他基线方法。

近日，德国AI咨询公司TNG推出的「DeepSeek R1T2」模型火了，速度比R1快20%，性能不弱于R1。它采用AoE技术，融合官方三大模型，开源且在Hugging Face开放权重，获不少人期待。

当下AI人才竞争激烈，企业各出奇招。今年5月京东技术沙龙零售专场，技术团队分享成果。几位95后青年专家讲述成长历程，如洛川解决CTR模型训练瓶颈，谦屹发表多篇顶会论文。京东还推出人才计划吸引人才。

文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。

2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

数据标注影响大模型性能，国家正推进数据标注产业发展，但行业合规问题突出。智合标准中心启动《面向人工智能的数据标注合规指南》团体标准研制，初稿已出，邀多方参与起草，标准将助AI企业解决合规难题。

在开发中后端搭建常令人困扰，Supabase作为开源的Firebase替代品出现。它基于一系列开源工具构建，提供完整且易用的后端解决方案，涵盖数据库管理等多项功能，有多种性能特色，还介绍了使用方法和体验，值得开发者尝试。