低延迟推理」共找到 2954 篇相关文章

算法论文7

OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算

OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。

机器之心
开源动态8

DeepSeek-R1-0528 打榜、20+案例全面实测,全球网友狂点赞:实力堪称R2!

DeepSeek 上新的 DeepSeek - R1 - 0528 让 AI 圈沸腾。它在 LiveCodeBench 榜单飙升至第 4 位,性能逼近 OpenAI 的 o3 高级版。全球网友实测后好评如潮,其在多方面能力出色,且完全开源,引发对 R2 的期待。

AGI Hunt
算法论文7

一文解读 LLM Posting-Train技术

文章解读了大语言模型后训练(Post-training)技术,介绍其核心价值,从微调、强化学习、测试时拓展三方面展开,分析现有技术瓶颈,指出前沿研究方向,还给出实践指南和工具链推荐。

海边的拾遗者
算法论文8

全新GPU高速互联设计,为大模型训练降本增效!北大/阶跃/曦智提出新一代高带宽域架构

随着大模型参数规模扩大,分布式训练成关键路径,高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限,北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。

量子位
新闻资讯7

1/8成本比肩Claude 3.7,Mistral Medium 3来了

“欧洲OpenAI”Mistral AI发布多模态新模型Mistral Medium 3,主打编程和多模态理解,成本仅Claude 3.7的1/8,性能达其90%,API已上线,还推出企业聊天机器人服务,引发网友不同看法。

量子位
产品应用8

通义灵码编程智能体,上线!

近期 Qwen3 正式发布并开源 8 款「混合推理模型」,表现出色。通义灵码全面支持 Qwen3 并上线编程智能体,具备多种能力,支持配置 MCP 工具,集成魔搭 MCP 广场,能大幅提升开发效率。

阿里云开发者
新闻资讯7

二十年老牌 IDE 栽在 AI 上!JetBrains 被差评逼疯批量删除评论,用户怒打更多1星抗议

JetBrains 2023 年 12 月发布的 AI 助手插件下载超 2200 万次,但评分仅 2.3 分。该公司批量删负面评论引用户不满,其还存在安装难移除、体验差等问题。虽推出免费套餐和 Junie 智能体,仍面临成本和竞争压力。

InfoQ
产品应用9

OpenAI押注RSI,国产AI火速交卷!Flash叫板万亿大模型

OpenAI、Anthropic先后公开布局递归自我改进(RSI),国内云知声推出搭载RSI自迭代机制的U2-Flash大模型,本文带来实测表现与技术路径拆解,验证小激活规模对标万亿大模型的可行性。

新智元
新闻资讯8

首批GPT-6内测结果好离谱啊。。。

GPT - 6使用资格分批开放,内测玩家抢先体验。其在3D生成、游戏开发、网页制作等多领域表现出色,如15分钟做出Mac应用,空间推理达世界级水平,但运行时Token消耗大。

量子位
开源动态8

MinerU又开源了!这次专治OCR跨页失忆症

文档解析领域,MinerU团队开源了专门给OCR结果做“后处理”的4B小模型MinerU - Popo。它能把碎成一页一页的OCR结果重新拼成文档级结构,解决了当前OCR跨页逻辑断裂问题,且效果和成本优势突出。

CourseAI