「高性能框架」共找到 4537 篇相关文章
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
让龙虾越用越聪明！普林斯顿大学为OpenClaw搞了个强化学习框架
普林斯顿大学研究团队发布强化学习框架OpenClaw - RL，能捕捉用户反馈与环境结果信号，有独立解耦异步机制，融合打分与文本指导，经真实场景验证效果良好，蹚出自我进化新路径。
首个多人对话视频生成框架MultiTalk，角色有表情还能互动
现有音频驱动人体动画方法多聚焦单人，处理多音频流能力弱、指令跟随有局限。中山大学提出多人对话视频生成新框架MultiTalk，介绍了技术原理，演示效果显示其指令跟随能力强、伪影少。
训练数据量降低1万倍，谷歌提出超高质量数据主动学习方法
将大模型应用于特定领域需数据微调，但筛选高保真训练数据难度大、成本高。谷歌提出新主动学习筛选流程，能将训练数据规模降1万倍，还提升模型与人类专家一致性。经实验验证，该方法效果显著。
Sand.ai开源发布MagiCompiler：突破局部编译界限，定义训推性能上限
大模型开发者面临速度与显存的两难选择，原生torch.compile有局限。Sand.ai开源MagiCompiler，突破传统编译界限，提出Compiler as Manager理念，解决算力与显存墙难题，性能实测亮眼，且接入简单。
“别急着裁底层，很多高管才最该被 AI 接管？”
文章围绕AI在企业中的应用展开，探讨AI预算分配、build vs buy、岗位替代等问题。指出AI预算将按人分配，建东西变便宜但有瓶颈，高层瓶颈更适合先被AI优化，代码审查或成高风险环节。
实测爆火的阶跃星辰Step 3，性能SOTA，开源多模态推理之王
在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。
微软开源2025 ICML获奖框架，终结大模型多轮对话严重缺陷
微软开源2025年ICML获奖框架CoLLabLLM，可解决大模型多轮对话缺陷。它由四大模块构成，经多轮对话模拟和奖励优化模型。在三大基准平台测试显示，能在多样任务中高效协作。
告别无效计算！新TTS框架拯救19%被埋没答案，推理准确率飙升
现有TTS方法存在路径同质化和中间结果利用不足问题。华为诺亚方舟实验室等机构提出SRCA框架，含检查点注入、答案聚类搜索和检查点候选增强组件，实验显示能提升推理准确性、效率，降低成本。