搜索：推理服务基础设施

「推理服务基础设施」共找到 2930 篇相关文章

一种用于管理 AI 变革步伐的演进式架构模式

Cloudflare推出基于QuePaxa共识算法的Meerkat服务，可无领导者写入并保持强一致性，提高网络可用性。它预计将是QuePaxa全球首次生产部署，但存在局限性，如大量往返通信。

美国当地时间3月21日，马斯克联合SpaceX、Tesla、xAI发布TERAFAB项目，启动超大规模芯片制造设施，目标年产1太瓦计算能力，80%产能服务太空任务，虽面临诸多挑战，但意义深远。

北京AIGC视听产业创新中心位于朝阳区东坝乡，由多方参与，采取‘共创、共建、共享’模式，提供六大服务平台，促进成果转化与场景落地。截至2025年8月，已汇聚近百家生态合作伙伴，由首创郎园运营。

Anthropic发布Claude Sonnet 4.5，是目前最强编程模型，在多领域性能超GPT - 5和Gemini 2.5 Pro。操作电脑、数学推理能力提升，产品更新功能丰富，安全性增强，价格不变，获多家公司认可。

AI视频生成行业商业化加速，生数科技不到一周官宣与智谱、飞书等合作。其Vidu基座模型能力强，多领域开花，2025年Q1商业化增速快，还凭交付与服务能力获头部青睐。

近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。

Karpathy官宣加入Anthropic要组建新团队‘用Claude加速预训练研究’，话音未落，Google&Meta等发论文‘LLMs Improving LLMs’验证了该思路。论文让Claude Code搜索最优推理策略，结果全面超越人类设计。

卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。

过去一年，AI与手机关系被重新定义，腾讯混元等机构研究PhoneHarness，关注AI在手机上行动及任务完成验证问题。它让手机Agent行动不止GUI，还有Bench检验执行结果，推进AI手机基础设施建设。

北京AIGC视听产业创新中心位于朝阳区，由多方参与、首创郎园负责运营，通过六大服务平台促进成果转化与场景落地。截至2025年8月已汇聚60余家生态伙伴，首创郎园拓展多地业务。