「推理芯片」共找到 2578 篇相关文章
语义分割别无脑用Argmax!港中文新算法:三行代码,推理速度提升10倍
香港中文大学提出全新算法框架RankSEG提升语义分割性能。传统方法用threshold或argmax生成掩码并非最优,RankSEG无需重训模型,加三行代码就能提高分割指标,还开源了工具包,其改进版RankSEG - RMA推理速度大幅提升。
GPT-5难产内幕曝光!核心团队遭挖空,推理魔咒难破,靠英伟达续命
外媒The Information曝出GPT-5诞生内幕,其未取得技术突破,OpenAI面临数据瓶颈与技术难题,核心研究者被撬导致组织架构混乱。不过,OpenAI获巨额融资,推理模型成突破口,还在开发“通用验证器”。
逼近5万亿美元!英伟达GTC深夜爆拉市值,Vera Rubin超级芯片首露面
昨夜英伟达GTC大会上,黄仁勋演讲后股价涨4.98%,市值增2300多亿美元达4.89万亿逼近5万亿。他介绍了Vera Rubin超级芯片等,还宣布多项技术成果,如AI原生6G协议栈、NVQLink等。
Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构,用新注意力机制首次超越全注意力模型。长上下文任务中,它减少75%的KV缓存需求,推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
OpenAI重新开源!深夜连发两个推理模型,o4-mini水平,笔记本、手机可跑
OpenAI 自 GPT - 2 后重新开源,此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平,可在笔记本、手机运行,有宽松许可等亮点,在多测试中表现出色。
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。
黄仁勋台上最强GPU炸场,台下感叹“中国芯片爆发”,瞄准6G投资诺基亚
英伟达发布会上,黄仁勋官宣新GPU Vera Rubin,还谈及中国芯片爆发,夸中国模型成果显著。此外,英伟达公布量子计算、6G通信等领域布局,与诺基亚合作入局6G并投资,不过各领域均面临竞争。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展,调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版,在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片;调度器优化了资源计算和可观测性;应用层与vLLM、Xinference等整合。
AI-Infra-Auto-Driven-SKILLS v0.1.0:给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明,沉淀推理框架开发流程约束,适用于 Codex 和 Claude Code,包含核心技能、SOTA loop、OpenAI 目标和提示等内容。
UC伯克利新作颠覆认知:LLM靠「自信爆表」学会推理?无需外部奖励超进化
UC伯克利华人团队发现,LLM不靠外部奖励,仅靠「自信爆棚」就能学会复杂推理。他们提出基于内部反馈的强化学习(RLIF)新范式,用INTUITOR方法让模型用自身置信度作内在奖励,在多任务中表现良好。