「低延迟推理」共找到 2954 篇相关文章
本地LLM万字救场指南来了！全网超全AI实测：4卡狂飙70B大模型
文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
伯克利斯坦福联手造出「科研预言家」：77%准确率押注研究想法前景
伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」，从顶会提取想法对比案例训练，不借助实验验证，靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色，还能预测AI新点子。
何恺明新作：给扩散模型加正则化，无需预训练无需数据增强，超简单实现性能提升
何恺明最新论文研究扩散模型与表征学习的联系，提出Dispersive Loss正则化方法。它无需正样本对，有高通用性、低计算开销等优势，在多模型测试中提升了生成质量，在其他任务也有潜力。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
DeepEval：LLM 应用评测不再玄学，让大模型评测像写单元测试一样简单
在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。
Qwen团队发布长上下文Reasoning模型QwenLong-L1，超越o3-mini
Qwen团队发布长上下文Reasoning模型QwenLong - L1。当前大模型处理长文本有训练效率低、过程不稳定难题。QwenLong - L1用分阶段强化学习等方法，实验中超越o3 - mini、比肩Claude，还在案例表现出色。
英伟达重返中国！6月大量生产特供AI芯片，价格暴降40%
路透社消息，英伟达为突破美出口限制，将为中国推特供AI芯片，6月量产，价格降40%。该芯片基于RTX Pro 6000D，简化设计以控成本和符合管制。虽计算力低，但CUDA生态有优势。