「并行推理加速」共找到 2690 篇相关文章
国产开源LLM迎来大爆发的一周：Kimi、腾讯、快手、美团、面壁智能
国产开源大模型迎来爆发，快手、月之暗面、美团、面壁智能、腾讯等接连发布新模型，如快手Keye-VL - 1.5 - 8B刷新视频理解SOTA，美团LongCat - Flash - Chat推理快成本低等。
解码提速15.1倍、多任务性能不降：复旦&引望WAM-Diff2打通自动驾驶VLA自回归—扩散转换
视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。
WAIC抢先爆料：金融“黑马”大模型超DeepSeek刷新SOTA，论文已上线
WAIC期间，蚂蚁数科金融推理大模型发布会未开，论文已上线。其新模型Agentar - Fin - R1有8B和32B版，在金融测评集超DeepSeek等，还兼顾专业与通用，蚂蚁数科还提出评测基准Finova。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
AI半壁江山是中国人！黄仁勋敲警钟：美国再不觉醒就晚了
在华盛顿的Hill&Valley论坛上，黄仁勋指出全球50%的人工智能研究人员来自中国，呼吁美国加速布局AI。他还介绍了英伟达的相关计划，提出维持美国AI领导力的建议，强调了人才、资本与生态在算力革命中的重要性。
深度解读黄仁勋的万亿美元蓝图
2026年3月16日，黄仁勋在GTC演讲中称AI计算需求至少达1万亿美元，实际或更高。他回顾AI三次拐点，介绍推理时代超级计算机Vera Rubin，还发布OpenClaw等软件，成立开源模型联盟，展示各行业应用，强调共封装光学重要性。
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。
刚刚，智谱开源了他们的最强多模态模型，GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。
GPT-5将揭示人类的"创造力"其实就是模式识别？
有传言GPT - 5将发布，X上一博主称其或揭示人类‘创造力’是模式识别，引发热议。有人认为创意是碎片重组，也有人坚持创造力不只是模式识别，还需推理等，AI完美识别模式反被困住。