「低延迟推理」共找到 2941 篇相关文章
太空算力排队到2030年，这家初创公司不等了：自己造火箭把数据中心送上天
5月11日，太空基础设施Cowboy Space完成2.75亿美元B轮融资，估值达20亿美元。其创始人Baiju Bhatt计划自造火箭，将上面级改造为在轨数据中心。但造火箭门槛高，轨道数据中心面临经济、延迟等难题。
对话 Elys 创始人：他的 10 个产品洞察，和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话，分享 10 个产品洞察。他认为 context 价值大，做新 AI 产品要找好形态，记忆系统本质是推荐系统，还阐述了对 AI 社交等看法，目标是创造低熵社交网络。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
刚刚，Sam Altman宣布：GPT-5即将发布
Sam Altman在X上宣布OpenAI通用推理系统在2025年IMO达金牌水平，同时透露GPT - 5即将发布。OpenAI研究员Alexander Wei介绍突破细节，模型解决多道题获35分。GPT - 5是实验模型，有金牌能力的版本还需等待。
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行。模型推理快、性价比高，在多领域表现出色，亮点是Agent和长文能力，已在腾讯多业务应用。
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。
他想让TPU成为AI界的X86！
2026世界人工智能大会期间，中昊芯英主办分论坛，新一代全自研TPU架构AI芯片“须臾®”亮相，华东地区首个国产TPU智算千卡集群落成。“须臾®”算力强、成本低，集群全链路国产化，中昊芯英探索TPU突围路径。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。