「推理服务基础设施」共找到 2949 篇相关文章
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
AI 创业者演示视频被骂上 x 热榜，背后 YC 赶紧删帖！实名吐槽：YC 就是一堆 B2B 企业互相推销产品！
美国创业孵化器 Y Combinator（YC）孵化的 AI 创业公司 Optifye.ai 展示视频引发争议，YC 删帖。此外，YC 此前也有‘翻车’情况，面临批次增多、公司相似、种子轮融资减少等问题，被指成 B2B 企业互推产品之地。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
让VLA真正跑上机器人：北大团队开源Jetson-PI，Jetson Orin控制频率提升8.66倍
文章聚焦让VLA模型在机器人上高效运行难题。北大等团队提出Jetson - PI方案，从异步推理算法等三层面优化，在Jetson Orin上控制频率提升8.66倍，推动具身智能向工业应用跃迁。
不到一年ARR破亿元，GEO厂商智推时代获数千万元天使轮融资 | 甲子光年
近日，AI营销科技公司智推时代完成数千万元天使轮融资，将用于技术研发等。其成立一年多 ARR 破亿，服务近 400 家头部客户。自研 GENO 系统，与华东师大共建实验室，还布局全球市场。
谷歌搜不到的80%互联网，AnySearch全打通了！开发者连夜接入
2026年5月11日海外上线的AnySearch，定位AI时代「搜索基础设施」，专为AI Agent打造统一高质量搜索入口。上线一周在海外开发者圈爆火，经测试性能优于同类产品。通过不同场景实战，展现聚合广度、专业深度等四层能力。
当 Agent 开始接管工作流，企业最在意的三件事：安全运行、稳定交付、持续进化
Agentic AI 开发落地使基础设施问题凸显。AI 产业转向重视模型部署等，CPU 受关注，云计算角色转变，容器重要性凸显。Agent 应用规模化落地，AI 负载变化，Agent Infra 要解决四个问题，云和 CPU 任务也在改变。
超150位全球AI一线技术专家齐聚巴黎，这场大会到底聊了些什么？｜GOSIM Paris 2026圆满收官
5月6日，GOSIM Paris 2026进入第三天，议程转向技术实践。超150位全球AI专家齐聚，探讨模型推理优化、开源社区治理等。Niko Matsakis等分享前沿观点，还有五大主题论坛及工作坊，展示开源AI生态成果。