「推理硬件」共找到 2471 篇相关文章
谷歌Ironwood架构TPU v7：用AI造AI，撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood，由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准，挑战英伟达芯片地位，展现AI算力竞争新趋势。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
特斯拉开源硬件，中国团队开源大脑！首个具身智能顶配全家桶上线
4月特斯拉宣布人形机器人Optimus技术开放，国内智平方推出全球首个具身智能模型开源社区AlphaBrain Platform，提供全链路技术栈。该平台亮点多，还适配最新具身Benchmark，打破实验室围墙，推动技术突破。
AI真有希望考清北了！豆包1.6多模态推理发威，闯关数理化带图大题
火山引擎原动力大会发布豆包大模型1.6，它是国内首款多模态SOTA模型，支持256k上下文长度。实测中它解答高考数理化带图大题表现出色，还具备图像识别、视频理解、GUI操作等能力。此外，火山引擎还推出系列工具和平台助力企业。
目标出货一亿台，Altman和Ive的新公司「io」到底要做什么硬件？
本周三，OpenAI收购AI硬件创企「io」，引发对合作细节和硬件产品的猜测。Sam Altman和Jony Ive计划打造非手机、眼镜的设备，成第三核心小工具，计划出货1亿台，目标明年年底推出。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
DeepSeek、智谱被曝造芯，国产大模型绕开英伟达！
据路透社等爆料，DeepSeek与智谱AI正秘密自研定制化AI芯片，目标是摆脱对英伟达等的硬件依赖，构建自身算力生态。因算力账本和外部环境压力，两家公司选择研发面向推理场景的芯片。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
“为了一个功能，需要再造一个Google！”Jeff Dean最新对话：TPU的诞生，与那些差点把服务器烧了的疯狂往事
在Google Cloud Next上，Jeff Dean和Amin Vahdat分享了Google算力帝国崛起秘史。从TPU诞生背景，到自研硬件血泪史，再到软硬件协同设计，还探讨了AI未来瓶颈，如能源、硬件等，以及代码编写现状。