「GPU推理」共找到 2428 篇相关文章

新闻资讯7

GPT-5难产内幕曝光!核心团队遭挖空,推理魔咒难破,靠英伟达续命

外媒The Information曝出GPT-5诞生内幕,其未取得技术突破,OpenAI面临数据瓶颈与技术难题,核心研究者被撬导致组织架构混乱。不过,OpenAI获巨额融资,推理模型成突破口,还在开发“通用验证器”。

新智元
产品应用7

真·养虾!3步让龙虾边聊边进化,不用GPU不用数据集就能强化学习

程序员给智能体套在线强化学习系统MetaClaw,把用户与AI对话变训练数据。它基于Kimi - 2.5,用SkillRL框架,不依赖本地GPU,训练交Tinker云平台,三步即可上手。

量子位
开源动态8

Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍

月之暗面发布开源Kimi Linear架构,用新注意力机制首次超越全注意力模型。长上下文任务中,它减少75%的KV缓存需求,推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。

量子位
开源动态8

OpenAI重新开源!深夜连发两个推理模型,o4-mini水平,笔记本、手机可跑

OpenAI 自 GPT - 2 后重新开源,此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平,可在笔记本、手机运行,有宽松许可等亮点,在多测试中表现出色。

机器之心
算法论文8

DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍

扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。

机器之心
新闻资讯7

刚刚,全球首个GB300巨兽救场!一年烧光70亿,OpenAI内斗GPU惨烈

为争夺有限GPU,OpenAI内部争斗激烈,2024年算力投入70亿美元仍不够。微软发布全球首台GB300超算专供OpenAI,可让万亿LLM数天训完。OpenAI建立资源分配机制应对挑战。

新智元
新闻资讯8

黄仁勋台上最强GPU炸场,台下感叹“中国芯片爆发”,瞄准6G投资诺基亚

英伟达发布会上,黄仁勋官宣新GPU Vera Rubin,还谈及中国芯片爆发,夸中国模型成果显著。此外,英伟达公布量子计算、6G通信等领域布局,与诺基亚合作入局6G并投资,不过各领域均面临竞争。

量子位
开源动态7

AI-Infra-Auto-Driven-SKILLS v0.1.0:给 Codex / Claude Code 的推理框架工作流

AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明,沉淀推理框架开发流程约束,适用于 Codex 和 Claude Code,包含核心技能、SOTA loop、OpenAI 目标和提示等内容。

GiantPandaLLM
算法论文8

UC伯克利新作颠覆认知:LLM靠「自信爆表」学会推理?无需外部奖励超进化

UC伯克利华人团队发现,LLM不靠外部奖励,仅靠「自信爆棚」就能学会复杂推理。他们提出基于内部反馈的强化学习(RLIF)新范式,用INTUITOR方法让模型用自身置信度作内在奖励,在多任务中表现良好。

新智元
算法论文7

一段 signature,不仅撬开了 Opus 的隐藏推理,还让 Kimi、GLM 露出了"熟悉感"

研究者发现,将 Opus 等强模型返回的加密推理块交给同家族弱模型,弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外,公开的 Agent 轨迹存在隐私泄露风险,部分开源模型易受 Opus 风格影响。

深度学习自然语言处理