「低延迟推理」共找到 2941 篇相关文章
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
视频播客不是内容升级，更像是一场分发补偿
文章从创作者视角出发，阐述部分主播需考虑做视频播客的原因。指出媒介融合下“节目”成最大公约数，美国主播因生存需做YouTube，中国播客靠切片传播，专业创作者做视频成本低且杠杆效应大。
重新思考RLVR中的熵正则：从探索不足到探索过度的破局之路
2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。
大模型虽好，但恕我直言：在OCR面前，开源小模型更香
作者所在公司项目需处理大量纸质文档，起初考虑云端大模型API调用和开源大模型本地化部署，却因成本高、硬件要求高受阻。后经推荐调研PaddleOCR，其功能全、成本低、易用性强，最终被选为项目核心方案。
Qwen3.8-Max首发上线阿里千问AI平台，API服务与Token Plan同步开放
今日，阿里巴巴发布新一代基座大模型Qwen3.8，千问AI平台首发其Max版API服务与Token Plan。Qwen3.8参数量2.4万亿，性能居前列，推理快且能自主编程。API性价比高，平台还为Token Plan用户提供优惠。
Meta发最强模型打响价格战，小扎对谷歌贴脸开大！北大校友立大功
九月刚过3天就有五个前沿模型发布，Meta发布Muse Spark 1.3踢馆谷歌Gemini 3.8 Flash。它跑分提升大、成本低，性价比高，但也遭质疑，大模型下半场或比拼系统架构和智能体工程能力。
Claude 最歧视的，是印度阿三
AI研究员Aran Komatsuzaki实验发现，Claude的tokenizer对非英语用户不友好，印地语用户消耗token是英语的3.24倍，带来高成本、高延迟等问题。不同模型对不同语言token处理有差异，市场份额影响token效率。
港大团队首创静电捕获术，实现纳米金刚石晶圆级规模化集成
香港大学褚智勤团队与多方合作，首创基于静电捕获的方法，5分钟就能在8英寸晶圆上阵列化排布单个纳米金刚石，良率达82.5%。该方法操作简便、成本低且与CMOS工艺兼容，有望推动纳米金刚石量子技术商业化。
Token售卖已无溢价、大模型公司转型“系统商”？记忆张量 CTO 李志宇：智能体能力会拉开差距，长期记忆与状态管理成竞争核心
InfoQ 采访记忆张量 CTO 李志宇，他指出 Scaling up 经济效益下降，大模型公司正变系统公司，核心是长期记忆与状态管理能力。2026 年若模型无代际差，价格战或加剧。智能体是主赛道，但现有模型推理能力不足。
《三体》“宇宙闪烁”成真！免佩戴裸眼3D屏登Nature
中国团队出品的显示屏EyeReal登上Nature，无需佩戴眼镜就能把3D画面精准投射到眼中。它尺寸小、成本低，融合计算光学与AI，解决了以往裸眼3D技术难题，画面流畅且解决“晕3D”问题。