「吞吐量提升」共找到 2953 篇相关文章
半在线RL新范式UI-S1,使得GUI Agent既稳定又规划长远
现有AI训练方法在GUI自动化中各有弊端,本文提出半在线强化学习范式,训练出UI - S1 - 7B模型,性能提升显著,还提出新评估指标SOP,是迈向实用化AI智能体的重要一步。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率低,建议用Cooperative策略。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
OpenAI解密大模型失控:它不是变坏,而是「太听话」
OpenAI公开IH - Challenge,解决大模型指令冲突难题。指出大模型问题多因听信错误指令,给出系统>开发者>用户>工具的指令层级结构,设计数据集训练模型遵循高信任等级指令,提升安全可控性与抵御提示词注入能力。
手机跑推理模型:Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型,仅需900MB内存就能在手机运行。它专为简洁推理训练,性能提升明显,多数性能基准超Qwen3 - 1.7B,在多平台表现佳,还支持主流推理框架。
开源框架让代码AI偷师GitHub!bug修复率飙升至69.8%,性能创纪录
MemGovern团队联合多高校团队提出MemGovern框架,将杂乱GitHub数据转化为AI可用的结构化记忆。它构建筛选净化流水线,采用先搜后看模式,实验显示能显著提升代码智能体的bug修复率,还具跨领域推广价值。
让LLM不再话痨,快手HiPO框架来了
当前LLM存在‘过度思考’困境,效率与成本矛盾突出。快手与南大合作推出HiPO框架,通过混合数据冷启动和混合强化学习奖励系统,让模型能自主决策思考模式,实验显示它提升了效率和准确率,还具强泛化性。
GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
9月初,arXiv一篇论文将GPT - 5写进数学研究成果。它解决了第四矩定理‘收敛速度’的空白,还在凸优化领域提升收敛界限。不过它常犯错,需人类引导,且成果原创性存疑,引发对科研和博士培养的担忧。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1
本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其低延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
Unsloth宣布更新,可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新,支持视觉/多模态模型强化学习训练,含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法,能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。