「推理性能优化」共找到 4157 篇相关文章
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
Uno Platform 6.6 发布：Android 启动性能最高提升 61%
Uno Platform 6.6发布，在五平台引入原生AOT发布、可选Vulkan渲染后端等。聚焦运行时性能，提升多平台启动速度，还简化XAML编写，增强AI辅助、无障碍及多语言支持等。
AI Agent平台Sedai获2000万美元融资，主打云优化
AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
微调已死！「共识机制」实现提示词自我进化，性能飙升
人工智能领域正从「模型微调」向「上下文工程」转变。西湖大学MAPLE实验室齐国君教授团队提出基于「共识机制」的提示词组进化算法C - Evolve，能突破单一提示词性能局限，提升系统整体性能。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
DeepSeek秘密造芯！专攻推理，一年前已启动，招聘全程不公开
路透社消息，凭借算法震动硅谷的中国AI公司DeepSeek正秘密开发自研AI芯片，定位推理，项目约一年前启动，现处早期。全球模型公司自研芯片成趋势，虽挑战大，但DeepSeek有资金支撑。