「低延迟」共找到 1125 篇相关文章
Altman拿Token换股权只够烧45天，20亿Token捐母校只值100块：Token真成“钱”了，谁更赚？
本文围绕AI Token展开，讲述OpenAI用Token换创业公司股权，00后捐20亿Token给母校，还探讨了“tokenmaxxing”现象及问题，指出AI行业经济账未算清，企业客户成本高，AI成管理层压迫工具。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
知名产品工程师开源「一整套编程skill」，每个人都能有顶级的工程习惯
现在用AI写代码存在效率低、浪费token等问题，知名开发者tw93发起开源AI编程skill库Waza，将顶尖工程师习惯转化为Claude Code可运行技能，推出8实用技能，还提供两个小脚本。
长尾的复兴
作者曾认为3D打印在制造业是旁支末流，天花板低。如今看法转变，认为AI加3D打印将长尾从比特推进到原子，长尾社区也成熟，让小众需求有规模化满足可能，创客和业余爱好者迎来复兴。
Harness 工程就是控制论
文章指出OpenAI的Harness工程模式与瓦特离心式调速器、Kubernetes类似，都遵循控制论。代码库此前反馈回路在低层面，大语言模型改变现状，但需校准传感器和执行器，忽视工程实践代价会变得无法承受。
刚刚，杨植麟亲自开源Kimi K2.5！国产大模型打架的一天
今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
苹果救得了小折叠吗？
作为手机领域为数不多的增量市场，折叠屏手机迎来苹果入局。苹果首款折叠屏产品或为小折叠形态，但小折叠定位尴尬，苹果此前受困折痕难题，且小折叠功能体验和利润率问题待解。
3320亿市值，他们五年打造一家芯片龙头
沐曦股份发行价居年内科创板第二，网上发行中签率低，单签浮盈刷新纪录成最赚钱新股。它2020年成立，由三位AMD前科学家创立，聚焦GPU研发，虽仍亏损但营收增速快，募资投向科技创新。