「token使用量」共找到 2404 篇相关文章
Sglang 源码学习笔记(三)- 分布式和并行(以deepseek 为例)(WIP)
文章是 sglang 源码学习笔记,聚焦分布式和并行,以 deepseek 为例。介绍通信域类型,分析 ZMQ 和 torch.dist 通信,阐述 TP、DP、EP 实现,包括初始化、使用等,还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型
Qwen3技术报告揭晓8款模型关键技术,采用双模式架构,训练和微调分段进行,还“大带小”蒸馏数据。其融合思考与非思考模式,训练分多阶段,Qwen Chat还全量上线深度研究功能。
爆火!几天狂揽5万星,这个神器让AI一次砍掉54%屎山代码
最近开源项目Ponytail爆火,几天揽5万星。它将老程序员‘偷懒智慧’系统化喂给AI,让AI编码代理思考,使代码量直降54%,最高砍到94%,成本和时间同步下降,还保持100%安全。
对话关梦龙:他想用 Agent 拯救你手机里的 100G 废片
前字节跳动剪映早期成员关梦龙,正开发AI编导产品“Cutto”,让AI参与内容生成,降低普通人创作门槛。他认为AI虽提升生产力,但创业竞争更激烈,产品成功需看用户能否持续使用。
Claude Code一周份额,一天就烧完一半?有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发,如思考深度大幅下降,还存在7个叠加的bug,浪费用户token配额。开发者给出应对建议,新版本增加账单透明度和缓存过期提醒,该工具正面临信任危机。
OpenClaw中国行北京站落幕,3万人围观养虾,本周12城活动继续
2026年3月21日,OpenClaw中国行首站北京站举办,近200名开发者参与,3万多人次在线围观。活动承诺30分钟跑通AI应用,多位嘉宾分享使用经验与见解,还设置开放麦环节。本周末将登陆12城继续活动。
黄仁勋的中国搭子,打造3000亿市值半导体龙头
2025年5月黄仁勋宴请AI供应链伙伴,胜宏科技董事长陈涛是唯一大陆企业家。英伟达AI服务器七成PCB来自胜宏,因其技术与量产优势。陈涛创业坎坷,靠技术赌注和军事化管理让胜宏崛起。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。
揭秘 | 桥梁缺陷检测新突破:模型压缩42%,精度几乎不掉
全国公路桥梁超百万座,传统人工巡检效率低且有安全风险,现有深度学习检测模型体积大、计算量高。研究团队提出LBSD - YOLO网络,通过创新实现轻量化,实验显示模型瘦身但性能不减,有重要应用价值。
斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law
斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能,揭示动作误差与采样数量幂律关系,还探讨关键问题,给出方法,实验证明结合RoboMonkey能显著提升性能。