加速框架」共找到 2168 篇相关文章

新闻资讯7

直接免单!阿里千问30亿请客吃喝玩乐,春节AI大战彻底白热化

阿里千问APP官宣砸30亿开启「春节请客计划」,2月6日起以「免单」请全国人民吃喝玩乐,阿里生态「全家桶」加入。千问已接入阿里生态,借补贴加速AI Agent普及,有望凭「免单+服务」成「生活万事通」。

新智元
新闻资讯8

8亿!OpenAI发布企业AI现状报告

OpenAI发布《2025年企业AI现状报告》,基于真实数据与调研公开企业级AI使用规模。ChatGPT周服务超8亿用户,企业端增长惊人,各行业渗透加速,员工也感受到实际价值,同时前沿与普通用户差距拉大。

AI工程化
开源动态7

DeepSeek悄悄开源LPLB:用线性规划解决MoE负载不均

昨天,DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配,能处理动态波动,但也存在忽略非线性成本等局限,对 MoE 架构训练加速有参考价值。

机器之心
推荐文章7

迈向可编程观测:在GPU Kernel中构建类eBPF风格的性能探针

文章从CUDA基础讲起,以矩阵乘法为例介绍性能调优,再到PTX汇编知识,最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进,提供新分析视角。

阿里云开发者
推荐文章8

76%的性能提升与模型无关?Karpathy 700次 Loop 实验揭开 Agent 最大误区

前OpenAI联合创始人Andrej Karpathy警示业界重视模型框架。Hugging Face实验表明优化模型外层执行机制可大幅提升Agent性能,Karpathy开源项目揭示AI价值在循环迭代。还介绍了搭建持续进化Agent的方法及注意事项。

InfoQ
推荐文章7

[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解

文章详细介绍vLLM中Triton Merge Attention States Kernel的实现,与PyTorch原生实现对比,该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。

GiantPandaLLM
开源动态8

DeepEval:LLM 应用评测不再玄学,让大模型评测像写单元测试一样简单

在大模型应用开发中,科学、自动化评测 LLM 输出质量是难题,人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架,能用极简代码让评测像写 pytest 一样自然,内置多种评测指标,支持批量评测等。

AI工程化
算法论文8

谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”

谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。

量子位
算法论文8

LLM助力突破尘封60年数学猜想!北大王立威团队大幅刷新斯坦纳比下界

北大王立威团队构建基于 LLM 的框架,聚焦 Gilbert - Pollak 猜想,将二维平面斯坦纳比从 0.824 改进到 0.8559。该进展被陶哲轩收录,工作已被 ICML 2026 接收,代码和证明均已开源。

机器之心
算法论文8

打破确定性魔咒!北航团队提出VBF++:用“不确定性建模”刷新多模态视频推荐 SOTA

北京航空航天大学和北京邮电大学联合提出VBF++框架,将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成,在多个数据集上刷新SOTA。

AI前线