「推理性能优化」共找到 4171 篇相关文章
逛完WAIC，我们发现这家芯企已经把端侧AI“场景落地”做实
7月17 - 20日，世界人工智能大会召开，端侧AI成热点。瑞芯微展台展示大模型、Agent、AI+应用，多方案已量产落地，其双轨架构优势突出，还规划了产品路线图。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
微软开源AI量化神器Qlib
微软开源AI量化平台Qlib，支持多样机器学习范式，解决量化投资挑战。包含数据处理等完整流程，有安装、数据准备等说明，还提供自动化和定制化工作流，以及应对挑战的方案和性能对比。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
这款 Rust 文件搜索项目，让 AI 和 neovim 飞起来！
开发时项目大文件多，找文件成本高。Github上的`fff.nvim`项目专注‘极致速度 + 智能体验’，采用Lua + Rust架构，性能好、排序智能。有多项功能特性，还能与AI助手集成，提升效率。
HOIDiNi：一句话驱动虚拟人高精度操作物体
特拉维夫大学提出HOIDiNi，这是文本驱动的扩散框架，用于生成人体 - 物体交互动作。它引入扩散噪声优化，能兼顾真实感与物理正确性。不过它泛化能力待拓展、生成速度慢，未来需提升效率等。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。