「显存瓶颈」共找到 665 篇相关文章
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
单机狂飙4万亿参数，国产AI「四大天王」首次合体！这台超节点鲨疯了
国产「四大开源天王」可在单机运行，背后是「元脑SD200」超节点。它有超大显存、高速互联域和超强算力，支持64路本土GPU且可商用。浪潮信息以开源为战略加速大模型商业化落地。
7B模型对标GPT-4o，全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。
95后，边改造业务边发AI顶会论文，是怎样的体验？
当下AI人才竞争激烈，企业各出奇招。今年5月京东技术沙龙零售专场，技术团队分享成果。几位95后青年专家讲述成长历程，如洛川解决CTR模型训练瓶颈，谦屹发表多篇顶会论文。京东还推出人才计划吸引人才。
o3崛起，但推理模型离「撞墙」只剩一年？
OpenAI的o3推理模型诞生不到一年能力突飞猛进，算力暴增10倍。但Epoch AI等警告，最多一年推理模型或撞上算力资源极限。还从其他模型和业内人士看法分析推理算力，指出算力与性能有关联，也有发展瓶颈。
Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板
Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。
ACL 2026｜打破推理同质化！阿里达摩院新作让RLVR从重复采样走向有效探索
阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO，改进rollout策略，在关键节点生成更具区分度的推理轨迹，结合信息瓶颈自奖励机制，在多个数学基准上提升准确率与语义多样性。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙，近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈，蚂蚁灵波郑可成介绍模型，上海交大李永露分享评测基准，圆桌对话探讨数据挑战与破局路径。
卡帕西都整破防了：AI Coding没门槛，可部署环节真嗯啊的难
AI Coding界明星卡帕西公开吐槽，代码不再是AI编程瓶颈，部署才是。他以自己开发「菜单图片生成器」的经历为例，指出部署环节问题频发。他认为应让AI调用和配置，还推荐了Stripe Projects等优化产品。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。