「有状态推理」共找到 7603 篇相关文章
首个基因推理AI 横空出世！准确率飙至97%，彻底改变基因组学研究
多伦多大学等团队发布全球首个基因推理AI模型BioReason，将DNA基础模型与大语言模型融合，准确率从88%提至97%，可解释基因组变异致病机制，有望上线Hugging Face，应用前景广。
Palo Alto5亿美元收购的Portect AI都有什么产品和技术？
2025年4月25日，Palo Alto Networks超5亿美元收购Protect AI，为客户提供端到端人工智能安全保障。Protect AI有两个开源软件ModalScan、LLM Guard和三个平台产品Gardian、Recon、Layer，防护方案完整。
Deepseek 正式发布 V3.1：混合推理，Agent能力大幅提高，token消耗减半
Deepseek正式发布Deepseek V3.1，采用混合推理，支持双模式切换，上下文扩展到128k，API支持Claude Code调用。工具与Agent能力提升，思考效率更高，token消耗减半，官方渠道全面升级，9月6号起调整价格。
ICCV 2025 | UniOcc: 自动驾驶占用预测与推理统一数据集及基准平台
来自多所高校团队在ICCV 2025发表统一基准框架UniOcc，融合多源数据，有体素级运动流标注等创新，提出免真值评估指标，支持协同预测，已开源，能推动自动驾驶迈向新阶段。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
快慢Reasoning综述！
大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统
北京大学王勇涛团队提出新型自动驾驶系统 KnowVal，通过感知与知识检索模块协同实现视觉 - 语言推理。它构建驾驶知识图谱，有价值模型用于轨迹规划，实验在多基准测试表现佳，还通过定性分析验证效果。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。