「国产推理芯片」共找到 2874 篇相关文章
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。
Claude半个月连崩7次！全球宕机3小时，强制实名精准封号
Claude半个月内7次大规模故障，全球宕机3小时，开发者破防。原因是Anthropic算力储备告急，为自救拟自研芯片。此外，Anthropic还通过改定价、加闸、实名验证等措施控制成本。
刚刚，梁文锋被曝史上首次融资！DeepSeek V4彻底摆脱英伟达
外媒曝出DeepSeek正寻求首次外部融资，以不低于100亿美元估值筹集至少3亿美元。V4规模和野心远超前代，参数量达万亿，将运行在华为昇腾芯片上，若成功将脱离英伟达生态。
沐曦上市背后：那些陪它穿越“死亡谷”的投资人｜甲子光年
沐曦股份在上海证券交易所科创板挂牌上市，发行价104.66元/股，上市首日高开。早期投资人陪其穿越‘死亡谷’，上市验证‘陪跑型投资’价值，也标志国产GPU进入‘资本验证期’，但仍面临生态和制程挑战。
AI秒破18世纪「天书」账本！谷歌新模型盲测刷屏全网
谷歌AI Studio上一神秘模型引发关注，它识别200多年前商人的「天书」账本，修正格式错误与模糊表述，推理能力令历史学家震惊。该模型解决手写识别和推理两大难题，或为谷歌将推的Gemini - 3。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
逆天！Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术，配合强化学习，能在几乎不改变大模型原有结构下，用极少数参数激发其推理能力。该技术在数学推理上表现出色，还探索了参数共享策略和存储精度问题。
一年4次迭代，狂堆GPU成真！微软AI冷液灌芯，散热暴涨3倍
AI芯片发热问题严重，限制了其发展。微软推出微流体冷却技术，在芯片内开液体血管，散热效率最高提升3倍，温升降65%。一年4次迭代解决诸多难题，影响从省钱到使用体验，更是抢跑未来的布局。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。