「百万Token计算」共找到 1375 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
曝GPT-5.5用上「全球最快芯片」，Claude慌了！
新智元报道，OpenAI的GPT - 5.3 - Codex - Spark用Cerebras的WSE - 3芯片达2000 token/秒。Cerebras CFO称在跑GPT - 5.4和GPT - 5.5，但SemiAnalysis报告指出其跑大模型有短板，且公开云模型小、上下文短。
谷歌Gemini最强性价比模型发布，1块8读完3本三体
谷歌推出Gemini 3.1 Flash-Lite，号称性价比最高的Gemini 3系列模型，每百万输入token仅0.25美元，读完3本《三体》只需1.8元。性能表现佳，还支持可调思考层级。两小时后ChatGPT推出GPT - 5.3 Instant回应。
突发！Fable 5.1遭黑客破解，27万字提示词泄露
Fable 5.1和Mythos 5.1发布，Fable 5.1推理成本低32%。但发布几小时后被破解，27万字提示词泄露，曝光了其安全限制、隐私保护等秘密。它工具增加，还破解密码、能完成多种任务，不过也有用户抱怨耗token等问题。
中文版Nano Banana来了？Qwen-Image-2.0炸场：1K长文本硬吃，中文生图彻底不拧巴了
AI生图曾有文本长易糊、指令复杂就出错、中文渲染差等问题。阿里新发布的Qwen-Image-2.0能处理1K token长文本，理解复杂指令，中文渲染佳，还能多图编辑，国际评测表现也靠前，阿里云百炼已开通API邀测。
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。
AI开始接管实验室了！玻尔·跃迁实验室：试剂、设备、数据一个入口搞定，1800+设备即插即用
深势科技推出玻尔·跃迁实验室，解决传统实验室设备割裂、经验依赖、数据离散、部署低效等痛点，围绕计算 - 实验 - 数据 - 计算无缝闭环底层重构，与传统 ELN/LIMS 不同。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
AI 写代码太烧钱了：Copilot、Claude 一起涨价，不如把程序员请回来？
GitHub和Anthropic几乎同时宣布调整AI写代码的计费模式，引发AI写代码成本是否会超雇程序员的讨论。AI公司前期以低价或免费扩张，如今将成本转嫁用户，但浪费严重，临界点临近。