「分布式推理系统」共找到 3593 篇相关文章
Agent Token焦虑：当每次对话都在「烧钱」，技术如何破局？| GAIR Live 029期预告
GAIR Live 029 期线上圆桌将直击 Agent Token 焦虑的底层技术逻辑，邀请技术负责人从架构重构与系统优化双重视角，拆解 Claw 类产品如何从烧钱走向省钱。探讨成本解剖、架构升维、系统优化等核心议题。
破解遥感目标的形状与尺度难题，PKINet二代推理提速近4倍！
PKINet - v2是改进的遥感目标检测模型，能处理复杂形状和尺度变化问题。它在PKINet基础上升级，统一条带与方形卷积，部署时折叠为单大核。在多数据集上精度和速度提升，可服务多领域，但对特殊目标仍有检测问题。
Pinterest 基于 CDC 的摄取系统将数据库延迟从 24 小时缩短至 15 分钟
Pinterest 推出新一代数据库摄取框架，突破传统批处理局限。旧系统延迟高、运维复杂，新框架基于 CDC 等构建，处理有变化记录，将数据延迟从超 24 小时降至 15 分钟，还节省成本。
豆包是如何炼成的？字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成，关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性，已部署超一年，效果显著。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。
手工软件工程师的时代已经结束！一位连续创业CTO的判断
连续创业者、Tessi.ai CTO Ben Greene 在访谈中指出，生成式 AI 改变软件工程形态，手工软件工程师时代过去。工程师应转向理解问题、设计系统，具备系统思维、业务理解和与人协作能力，学会“AI 编排”。
喂饱OpenClaw！北大中科院95后打造星际超算，硬刚马斯克
中科天算与炎和科技联合宣布太空超算原型系统发布，完成太空算力与钙钛矿能源系统联调。全球算力需求爆发，地面超算受限，太空成核心战场，我国此次突破彰显创新魄力。
探索 GPU 加速向量检索：NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势，讲述线上化改造、架构演进、CPU/GPU 协同优化等，展示业务落地显著收益。
Cloudflare 用 Rust 重写核心系统：CDN 性能提升 25%，响应时间缩短 10 毫秒
Cloudflare 宣布用 Rust 重写核心子系统，响应时间缩短 10 毫秒、性能提升 25%。基于代理框架 Oxy 构建 FL2，创建中间层让 Rust 模块在旧系统运行，还制定测试发布策略及回退机制。