「低延迟推理」共找到 2941 篇相关文章
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。
Mistral 3开源，一举超越DeepSeek与K2？
近期，Mistral AI开源Mistral 3，含三款小型稠密模型及Mistral Large 3。Benchmark对比中，它领先国内DeepSeek - 3.1、Kimi - K2。Mistral Large 3是强开源权重模型，Ministral 3适合边缘端，成本性能比低。
性能碾压GPT-4.1-mini！Mistral开源Devstral，还能在笔记本上跑
法国AI初创公司Mistral与All Hands AI合作，发布全新开源语言模型Devstral，有240亿参数，所需算力低，可本地部署。它能解决真实GitHub问题，在SWE基准测试中表现优于多个模型，还能通过API访问。
刚刚，谷歌Gemini 3.8登场！姚顺宇：RSI巨大飞跃
深夜谷歌推出Gemini 3.8，六周内第三款Flash系列模型。含通用的Gemini 3.8 Flash和网络安全专用的Gemini 3.8 Flash Cyber，提升推理、代码能力，在多场景表现出色。已面向不同群体开放。
字节Seedance，正在占领好莱坞
字节Seedance从被好莱坞排斥到被认可，进入创作者圈与工作流，用于拍电影长片。它成本低且有免费福利，吸引独立电影人。在AI视频模型竞赛中逼近美国对手，影视业对AI投入将上涨。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
谷歌最新发表的Science论文，颠覆了人类对ASI的想象
谷歌等机构研究者在《科学》发文，提出真正智能爆炸已发生，是多元、社会性且与人类深度缠绕。推理模型内部涌现‘思想社会’，当下人机协作进入‘半人马时代’，还探讨了AI扩展、对齐及治理问题。
OpenClaw 走红背后：Agent、AI Coding 与团队协作的新问题
InfoQ《极客有约》X QCon 直播栏目邀请专家探讨 OpenClaw 爆火、使用体验等问题。指出它并非低门槛产品，AI Coding 核心问题是不稳定与不可控，还讨论了团队落地方式及未来 AI Coding 可能的拐点。
BigQuery 新功能：SQL 直调 17 万 + AI 模型，3800 万行数据处理成本仅 2 美元
Google为BigQuery推出面向开源模型的第三方生成式AI推理功能，允许数据团队用SQL语句部署运行Hugging Face或Vertex AI Model Garden的模型，消除对独立ML基础设施的需求，解决数据团队痛点。