搜索：国产推理芯片

「国产推理芯片」共找到 2874 篇相关文章

KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

上市15天后，摩尔线程在首届聚焦全功能GPU的开发者大会上，围绕MUSA推出诸多新品，包括新GPU架构、芯片、智算集群和硬件产品，还将开源核心组件，构建生态，其架构创新定义未来AI产业格局。

这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。

2025年12月5日，摩尔线程在科创板上市，成中国首家登陆资本市场的全功能GPU企业。它以自主创新为根基研发芯片，构建起技术体系，商业表现佳，上市募资将投入芯片研发，助力国家数字经济发展。

上海人工智能实验室等团队提出推理时工具演化（TTE）框架，推动AI在科学领域从被动选工具到主动发明工具。它解决传统工具库问题，提升多学科推理准确率，赋予AI跨学科迁移能力。

高通发布全球最快Windows PC处理器骁龙X2 Elite系列、全球最快移动SoC处理器第五代骁龙8至尊版移动平台。高通CEO安蒙提出对AI趋势的六大理解，新芯片在性能、功耗等方面有显著提升。

一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象，低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集，指出推理token是成本倒挂主因，且实际开销难以预测。

欧洲两位安全研究员的论文《从专有 LLM API 中窃取推理轨迹》爆火。他们揭示 OpenAI、Anthropic 和 Google 用的“无状态架构”有漏洞，能利用小模型解码大模型推理轨迹，导致隐私泄露等风险。

LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。

现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。