搜索：国产推理芯片

「国产推理芯片」共找到 2874 篇相关文章

刘壮陈丹琦新作：开源通用视觉推理RL框架，0思考数据刷新SOTA

普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。

随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。

芯片行业投下重磅炸弹，英伟达斥资50亿美元入股英特尔成大股东。两家合作，英特尔为英伟达定制x86 CPU，还将推出集成英伟达GPU的系统级芯片，此合作改写行业格局。

大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心，通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。

2025年诺贝尔化学奖成果MOF曾因稳定性差、成本高，实际应用寥寥。如今，海外华人科研团队用其造出纳米级液体芯片，能执行逻辑运算，有记忆效应，成果发表在Science子刊。

大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。

上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。

面向自动驾驶的多模态大模型存在问题，FSDrive提出“时空视觉CoT”，让模型“以图思考”，联合未来场景与感知结果进行可视化推理。该方法在不改动原有MLLM架构前提下激活图像生成能力，实验表现出色。

大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。

中科院计算所团队提出新框架PARO，让模型学习固定推理模式自动生成思维链，只需标注1/10数据就能达全量人工标注性能，适合规则清晰领域，为推理监督提供新思路。