「内核延迟」共找到 290 篇相关文章
大模型API的大众点评来了：7×24小时实测，毫秒级延迟智能路由，选API必备
清程极智推出的AI Ping像大模型API领域的大众点评，用7×24小时实测数据为开发者提供参考，解决信息差和重复劳动问题。它有持续评测榜单、智能路由匹配等功能，还统一了API度量衡，推动选型从经验走向数据驱动。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
AI驱动的实时全球情报情报系统，绝大多信息免费！覆盖全球实时情报的多个维度！
实时全球情报仪表盘是AI驱动的态势感知界面，集成新闻聚合、地缘政治监测与基础设施追踪。数据源多为免费公开API，低延迟更新。有多种功能，技术栈丰富，聚合多领域65+外部数据源。
声音自然、接近真人，只要 3 秒音频就能完成声音克隆，可本地跑保护隐私的TTS！
Neuphonic出品端侧TTS模型NeuTTS，能在本地设备高效运行，无需云服务。它有真正端侧运行、低延迟、高质量自然语音等特性，支持多语言，项目还给出安装、使用方法及支持模型等信息。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
SIGCOMM 2026 | 从「人眼看视频」到「AI理解视频」：北大提出面向AI的实时通信框架Artic
AI 正从「文字聊天」走向「边看边聊」，传统实时视频通信难以满足需求。北大团队提出 Artic 框架，重构码率自适应等，实验显示其能显著提升准确率、降低延迟。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
华为CloudMatrix重磅论文披露AI数据中心新范式，推理效率超NV H100
华为发布60页重磅论文，提出下一代AI数据中心架构Huawei CloudMatrix及产品CloudMatrix384。它架构设计独特，性能高效准确灵活，打破算力、延迟和成本“不可能三角”，重新定义AI基础设施。