「性能提升」共找到 4042 篇相关文章
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
谷歌也要「AI抖音」了！新Veo 3.1原生支持竖屏，4K分辨率高画质
谷歌Veo 3.1升级，全方位提升视频生成质量，新增竖屏和4K两大特性。它还提升创意、一致性和元素融合能力。谷歌借此进军AI短视频，结合自身优势推动“AI视频竖屏化”趋势。
砂之船 × 炎黄盈动：基于企业级AI平台，加速智能商业运营落地
砂之船集团作为大型奥莱运营商，2025年选择炎黄盈动企业级AI平台，从现场运营切入推进AI落地。该平台解决业务挑战，提升管理效率超60%，助力集团多方面价值提升，为行业提供示范。
英伟达力荐，小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大，LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed，有 TensorRT LLM 性能、vLLM 易用性，受英伟达力荐且已开源，为智能体负载提供近「光速级」推理能力。
腾讯开源智能体构建框架
腾讯开源智能体构建框架 Youtu-Agent，灵活高性能，验证性能出色，开源友好成本低。有自动智能体生成等亮点，适用于不同用户群体，涵盖研究、开发等场景，还介绍核心概念，附项目地址。
文生图Scaling新变量，被字节Seed团队发现了
ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。
G2ConS将微软GraphRAG的成本被打下来了~
传统Text - RAG处理多跳推理表现不佳，GraphRAG虽能提升准确率，但成本高。作者提出G2ConS方案，在3个多跳QA基准全面SOTA，平均节省30%费用，EM提升31.44%，整体流程仅3步。
马斯克22万张GPU救场后，Claude勉强恢复“三个月前体验”，Gary Marcus却警告：GPU将严重过剩，很快不值钱
当地时间5月6日，Anthropic宣布用SpaceX算力，提升Claude服务能力。此前其算力紧缺致口碑下滑，此次合作让Claude恢复到3个月前体验。同时，纽约大学学者警告GPU将过剩，而Anthropic发新功能争企业客户。
北大校友、OpenAI前安全副总裁Lilian Weng关于模型的新思考：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。