搜索：推理性能优化

「推理性能优化」共找到 4171 篇相关文章

编码器-解码器架构的复兴？谷歌一口气发布32个T5Gemma模型

谷歌在xAI吸引眼球时更新Gemma系列模型，发布多模态模型MedGemma，还一口气推出32个T5Gemma模型。该模型基于适应技术，性能表现佳，引发编码器 - 解码器架构复兴讨论。

论文提出SearchAgent-X框架解决AI搜索智能体效率难题。研究剖析效率瓶颈，发现精度和延迟问题，提出优先级感知调度与无停顿检索技术，经评估大幅提升性能且不牺牲答案质量。

Google安全团队开源AI文件类型检测工具Magika，抛弃固定规则匹配，用深度学习精准识别文件真实类型。它内置轻量模型，单CPU毫秒级推理，支持200+格式，准确率约99%，已大规模落地。

BellSoft 在 KubeCon 2025 大会发布新的“加固镜像”产品，集 Java 运行时优化、操作系统加固与主动 CVE 修复于一体，可减少已知漏洞、降低资源消耗，还提供 SBOM 满足合规需求。

网友用Rust重写DeepSeek - OCR推理栈，解决原版Python依赖复杂问题。此版本无Python依赖，可离线运行，兼容OpenAI API，还支持苹果芯片Metal加速，介绍了技术实现、使用方法和场景。

DeepSeek v3.2开源TileLang版本算子引关注，其可对标CUDA替代Triton，还适配国产算力生态，华为昇腾官宣支持。TileLang由北大团队主导，提供不同层次编程接口，助DeepSeek提升性能。

近年来基础模型在具身智能领域能力惊人，但在真实部署中常‘用不好’。卡耐基梅隆大学与伯克利人工智能研究院团队提出 FOREWARN 框架，结合‘世界模型’与‘多模态语言推理’，解决部署智能难题。

北大校友、前OpenAI华人VP翁荔发布万字长文《Why We Think》，围绕“测试时计算”和“思维链”，探讨提升模型性能的方法，涉及心理学类比、基于Token的思考、分支与编辑等多方面内容。

6月12日小米Darwin Agent Team发布论文《HarnessX》，用“系统自进化”终结Harness人工调优时代，带来性能跃升。其让Harness成为“一等公民”，有可组合等特质，还能与模型协同进化，虽有局限但成热门方向。

韩国科学技术研究院团队开发出新型复合材料，将两种纳米管组合，在单层超薄结构中实现对电磁波和中子辐射的屏蔽，为多领域提供轻量安全方案，但应用落地面临性能落差、成本等挑战。