「模型优化」共找到 8269 篇相关文章
MiniMax 怎么做 Agent:Model-Harness 协同只是第一步,还有 Inference-Harness 协同
本文介绍了 MiniMax 在 Agent 层面的实践。从内部飞书 bot 起步,发展成桌面应用 MiniMax Code,形成训练 - 服务闭环。还阐述 Agent 对模型优化迭代的作用、自研 Agent 优势,指出 AGI 是闭环递归自我改进系统。
减少检索增强生成(RAG)语义缓存中的误报:以银行业为例
文章围绕检索增强生成(RAG)语义缓存展开,指出其虽能提升效率,但设计不当会产生假阳性。以金融服务FAQ系统为例,经多组实验,发现缓存设计比模型优化更能减少假阳性,还给出未来架构路线图。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
无需训练,直接「算出」最强AI!理想汽车发现端侧Scaling Law
理想汽车基座模型MindVLA团队与国创决策智能技术研究所联合发布论文,提出面向端侧大语言模型的「硬件协同设计扩展定律」,解决大模型部署在端侧设备的难题,实现软硬协同设计,提升模型性能和研发效率。
不换GPU,性能飙升2.8倍!英伟达用软件暴打摩尔定律
2026年1月8日,英伟达官网披露,基于Blackwell架构的推理软件栈升级,让混合专家模型(MoE)推理效率迎「阶跃式」突破,单GPU吞吐飙升2.8倍,显著降低推理成本。其通过软件针对性升级发挥硬件潜力,还进行多项优化。
黑森林FLUX.2 Klein开源,亚秒级高质量图像生成和编辑,普通电脑就能跑
黑森林实验室发布开源的FLUX.2 Klein模型家族,是紧凑架构,将高质量图像生成与编辑速度压缩至亚秒级,在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒,还与NVIDIA合作优化。
提示工程死亡?不,它刚刚重生为计算科学:一篇讲透Prompt设计的科学基础
大型语言模型在多步推理任务中受挫,因Transformer架构有计算深度限制。本文建立提示设计理论框架,揭示提示是信息选择器,优化提示可使推理性能提升超50%,将提示设计从试错艺术变为可计算科学。
DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。
32倍加速,58秒搞定720p视频!字节发布离散自回归框架,统一视觉生成和长视频生成
字节发布InfinityStar框架,将5秒720p视频生成时间从30多分钟缩至58秒,还支持多样任务。它基于对视频本质思考设计时空金字塔模型,将时空分离,通过多项技术优化,性能表现出色,不过也存在一些技术局限。
北大发布学术搜索评测ScholarSearch:难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch,这是评估大语言模型学术检索能力的数据集,含223道高难度题目。评估显示现有模型表现欠佳,纯推理模型准确率低,有搜索功能的模型虽有提升但仍不足。