「分布式推理系统」共找到 3593 篇相关文章
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
癌症疫苗爆火后，mRNA再迎突破：新技术有望让RNA在体内“活得更久”
8月19日，Moderna与默沙东个体化mRNA癌症疗法试验有阳性结果，引发mRNA话题热议。次日，名古屋大学与富士胶片针对环状RNA开发新LNP递送系统并验证功能，触及RNA长期治疗关键问题。
对话 Elys 创始人：他的 10 个产品洞察，和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话，分享 10 个产品洞察。他认为 context 价值大，做新 AI 产品要找好形态，记忆系统本质是推荐系统，还阐述了对 AI 社交等看法，目标是创造低熵社交网络。
让问题不过夜：交易领域“问诊”Agent实践
文章针对研发支持中的痛点，构建智能Agent系统，将问题抽象为业务答疑与问题诊断两类能力。介绍了系统架构、构建演进、知识体系、质量评估等内容，还展示实战成效，指出当前边界与下一步方向。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
逆天！Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术，配合强化学习，能在几乎不改变大模型原有结构下，用极少数参数激发其推理能力。该技术在数学推理上表现出色，还探索了参数共享策略和存储精度问题。
性能提升84%-166%！L-Zero仅靠强化学习解锁大模型探索世界的能力 | 已开源
招商局狮子山人工智能实验室团队用RLVR让模型“自学”，构建L0系统，含NB - Agent框架和端到端强化学习训练流程，开源相关内容。测试显示L0显著提升模型性能，展现强大泛化能力。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
她们估值840亿，刚发了第一个AI成果
估值超120亿美元的Thinking Machines发布首篇研究博客，由创始人、OpenAI前CTO Mira Murati宣发。研究聚焦克服大语言模型推理中的不确定性，探讨推理结果难复现的根源，还介绍解决办法并验证效果。