「推理服务基础设施」共找到 2930 篇相关文章
Figma 自研了 Redis 代理，实现六个 9 可用性
Figma发布自研Redis代理服务FigCache详细实践，替换旧缓存栈。自2025年下半年上线，实现六个9可用性。它基于ResPC构建，分离前后端，配置灵活，处理Redis Cluster问题，迁移策略可回退。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
声音自然、接近真人，只要 3 秒音频就能完成声音克隆，可本地跑保护隐私的TTS！
Neuphonic出品端侧TTS模型NeuTTS，能在本地设备高效运行，无需云服务。它有真正端侧运行、低延迟、高质量自然语音等特性，支持多语言，项目还给出安装、使用方法及支持模型等信息。
Pixeltable：一张表搞定AI流水线
Pixeltable是统一声明式框架，能处理多模态AI流水线。它用表格接口替代传统复杂架构，有数据统一管理等核心能力，适用于多模态RAG等场景，内置支持主流AI服务，值得多模态AI项目一试。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
特斯拉Cybercab正式上线：没有方向盘没有刹车，已开始在奥斯汀拉客
当地时间9月3日，特斯拉在奥斯汀启动Cybercab付费服务，该车无方向盘、刹车等。其成本约1.8万美元，远低于对手。不过，它面临监管和技术约束，目前投放规模小，未来发展待验证。
Agentic 软件工程：造 Agent 只是最简单的部分
Agno 创始人 Ashpreet Bedi 认为造 Agent 简单，让其在生产环境稳定运行才是挑战。他提出 Agentic 软件六大支柱，给出 AgentOS Docker 模板代码实践，指出多数 Agent 产品卡壳是基础设施跟不上。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。
刚刚，Anthropic紧急换帅！新任CTO执掌算力命脉，直面OpenAI千亿赌局
Anthropic宣布任命前Stripe CTO Rahul Patil为新任CTO，原CTO Sam McCandlish转任首席架构师。此次换帅是为强化AI基础设施，应对Claude产品压力及OpenAI、Meta的竞争。
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。