token使用量」共找到 2404 篇相关文章

开源动态7

Sglang 源码学习笔记(三)- 分布式和并行(以deepseek 为例)(WIP)

文章是 sglang 源码学习笔记,聚焦分布式和并行,以 deepseek 为例。介绍通信域类型,分析 ZMQ 和 torch.dist 通信,阐述 TP、DP、EP 实现,包括初始化、使用等,还涉及不同 Linear 层 TP 及 MoE 不同实现情况。

GiantPandaLLM
开源动态8

Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型

Qwen3技术报告揭晓8款模型关键技术,采用双模式架构,训练和微调分段进行,还“大带小”蒸馏数据。其融合思考与非思考模式,训练分多阶段,Qwen Chat还全上线深度研究功能。

量子位
开源动态8

爆火!几天狂揽5万星,这个神器让AI一次砍掉54%屎山代码

最近开源项目Ponytail爆火,几天揽5万星。它将老程序员‘偷懒智慧’系统化喂给AI,让AI编码代理思考,使代码直降54%,最高砍到94%,成本和时间同步下降,还保持100%安全。

GitHubStore
产品应用7

对话关梦龙:他想用 Agent 拯救你手机里的 100G 废片

前字节跳动剪映早期成员关梦龙,正开发AI编导产品“Cutto”,让AI参与内容生成,降低普通人创作门槛。他认为AI虽提升生产力,但创业竞争更激烈,产品成功需看用户能否持续使用

AI科技评论
新闻资讯7

Claude Code一周份额,一天就烧完一半?有人逆向工程发现了7个bug

Claude Code在快速更新中问题频发,如思考深度大幅下降,还存在7个叠加的bug,浪费用户token配额。开发者给出应对建议,新版本增加账单透明度和缓存过期提醒,该工具正面临信任危机。

机器之心
新闻资讯7

OpenClaw中国行北京站落幕,3万人围观养虾,本周12城活动继续

2026年3月21日,OpenClaw中国行首站北京站举办,近200名开发者参与,3万多人次在线围观。活动承诺30分钟跑通AI应用,多位嘉宾分享使用经验与见解,还设置开放麦环节。本周末将登陆12城继续活动。

InfoQ
新闻资讯8

黄仁勋的中国搭子,打造3000亿市值半导体龙头

2025年5月黄仁勋宴请AI供应链伙伴,胜宏科技董事长陈涛是唯一大陆企业家。英伟达AI服务器七成PCB来自胜宏,因其技术与产优势。陈涛创业坎坷,靠技术赌注和军事化管理让胜宏崛起。

芯师爷
开源动态7

梳理SGLang中DP Attention及其Padding问题

作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。

GiantPandaLLM
算法论文8

揭秘 | 桥梁缺陷检测新突破:模型压缩42%,精度几乎不掉

全国公路桥梁超百万座,传统人工巡检效率低且有安全风险,现有深度学习检测模型体积大、计算高。研究团队提出LBSD - YOLO网络,通过创新实现轻化,实验显示模型瘦身但性能不减,有重要应用价值。

机器学习AI算法工程
算法论文8

斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law

斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算可提升VLA模型性能,揭示动作误差与采样数幂律关系,还探讨关键问题,给出方法,实验证明结合RoboMonkey能显著提升性能。

机器之心