「并行推理加速」共找到 2689 篇相关文章
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记，解释接口和约束、kernel 关键路径等问题，还介绍 NVFP4 和 MX-Formats 量化原理、代码实现，以及 LightX2V 项目中的实际使用。
大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
谷歌深夜放出 IMO 金牌模型，多项测试力压 Grok 4、OpenAI o3！网友评论两极分化
8月1日晚谷歌向Ultra订阅用户推Deep Think功能，Gemini 2.5 Deep Think模型在IMO夺冠。它是多智能体模型，能并行处理问题。多项测试中表现优于Grok 4、o3，不过网友评价不一。
回村拜年、赶集舞狮：一台小机器人的县城奇幻漂流｜甲子光年
2026马年春节，人形机器人迎来高光。‘清华系’加速进化公司将小型人形机器人Booster K1带回乡村，在多样场景测试。该公司走小而美路径，产品性能优、销量好，通过B端、C端策略打开市场。
实测美团 LongCat：快到极致，但是别说追平 DeepSeek
AI科技评论实测美团LongCat-Flash-Chat，它是中量级对话模型，主打“快”，几乎零延迟。但在推理、抗污染能力等测试中，相比DeepSeek-V3.1，逻辑链条松散，缺乏清晰判断。速度与逻辑哪个更重要，值得思考。
OpenAI波兰双雄：GPT不是偶然！再忆奥特曼被逐当天实况
OpenAI宫变时，Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识，因AlphaGo加入OpenAI。ChatGPT并非偶然，是团队深耕成果。二人推动推理模型发展，强调AGI发展中对齐问题重要，要兼顾能力与安全。
12项世界第一！国产基模一战封神，11亿参数逆袭70亿大魔王
蚂蚁灵波的LingBot-Depth 2.0空间感知模型，在测试中拿下12个世界第一，解决了玻璃、细小物体等行业难题。它还与奥比中光达成合作落地商业应用。其核心预训练基模LingBot-Vision被开源，有望加速具身智能生态发展。
一句“Hi”，80$蒸发！O3-Pro：地表最强，也最“坑”的AI！
昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。
DeepSeek R1 的小更新，却大有深意？
5月28日，DeepSeek低调宣布R1模型小版本试升级，API接口和使用方式不变，但未公布具体更新内容。从用户反馈看，语义理解、逻辑推理等能力提升，实测表现出色。此次升级或有安全、产品路线等考量。