搜索：推理性能优化

「推理性能优化」共找到 4163 篇相关文章

一个LoRA实现GPT-4o级图像编辑！浙大哈佛新模型冲上Hugging Face榜二

随着Gemini、GPT - 4o等把基于文本的图像编辑推向高峰，提高性能常需大量数据和大参数量模型。而浙大哈佛团队提出ICEdit，用少量数据和参数实现高质量图像编辑，媲美甚至超越商业大模型。

开源君介绍轻量级文本编辑器`Lite XL`，它用 Lua 编写，基于「lite」优化，安装包仅几 MB，能在多系统流畅运行。其性能出色，还支持插件和主题定制，适合资源有限设备。

深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。

文章介绍了自进化AI，其核心是执行、评估、进化的反馈循环，能自动修改Prompt和工作流。还讲解了SEW、TextGrad等优化器原理，并以SEW为例展示逻辑，最后推荐开源框架EvoAgentX。

今年4月，网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开，阐述在CloudMatrix 384超节点部署DeepSeek大模型细节，性能指标超英伟达体系，还介绍架构、软件栈及适配优化方案。

英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。

尽管大语言模型有进展，但纯自治多智能体系统有局限。为此提出 HILA 框架及双环策略优化机制，结合 DLPO 的 HILA 在基准测试中表现出色，为构建 Agentic 系统提供指导。

华为首次亮相数字化风洞虚拟环境平台，可在训推复杂AI模型前“彩排”，小时级预演万卡集群。其包含Sim2Train、Sim2Infer、Sim2Availability，分别解决训练、推理、高可用问题。

苹果发布基于流匹配的蛋白质折叠模型SimpleFold，被戏称“iFold”。它用通用Transformer模块搭配流匹配生成范式，3B参数版本追平谷歌AlphaFold2性能，还解决了传统模型算力依赖问题，效率高。

上海人工智能实验室等团队研究指出，“SFT泛化能力差”定论有局限。SFT泛化能力受优化过程、数据质量与结构、模型基础能力共同制约，研究还揭示其训练中的现象及副作用。