搜索：国产推理芯片

「国产推理芯片」共找到 2874 篇相关文章

Tool-Star：赋予大模型结合多工具推理的能力

文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。

全球投入使用的AI芯片总算力相当于约2000万枚英伟达H100芯片，预计到2028年底达2亿枚。数据中心进入百万级算力时代，投入资金巨大。算力提升使模型和Agent能力增强，AI还参与自身研发优化。

2026年3月底，Ollama将Mac版底层推理引擎换为苹果MLX框架，性能提升显著。明略科技开源Cider和Mano - P，Cider加速推理，Mano - P可操作图形界面，两者结合推动Private AI发展。

Meta等联合提出元认知复用机制，让模型总结解题思路，提炼为“行为”存于“行为手册”。实验显示，该机制在数学基准测试中显著优化，保持准确率时最多减少46%推理token使用量。

即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。

6月23日，国产GPU龙头沐曦IPO辅导完成，将提交申报材料。其为异构计算提供全栈GPU方案，产品有曦思N、曦云C、曦彩G系列。曾与书生・浦语3.0合作，2024年交付多个算力集群。此外，国产GPU厂商纷纷IPO。

现有大语言模型处理复杂指令能力不足，腾讯优图研究团队提出激励推理方法。该方法能提升LLM处理复杂指令表现，在1.5B参数LLM上性能提升11.74%，媲美8B参数模型。

文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。

腾讯AI Lab梁振文和宋林峰提出“解耦推理与证明”框架，解决当前大语言模型在自动化定理证明领域“思考”与“证明”能力失衡问题，成功解决5道IMO难题并开源成果。

百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。