国产推理芯片」共找到 2876 篇相关文章

8

刚刚,国产Agent模型闯入全球第一梯队!限时免费

昆仑万维发布SkyClaw-v1.0及其轻量版SkyClaw-v1.0-lite Agent模型,性能达全球第一梯队,价格仅主流顶尖模型一半甚至更低,适配主流Agent框架,还兼容OpenAI接口,现限时免费,后续将逐步开源。

量子位
产品应用7

Codex在推理框架上能蹬出什么优化

作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。

GiantPandaLLM
新闻资讯7

芯片巨头蒸发超5万亿,AI泡沫是真的?

当地时间25日,英伟达股价大幅下跌,近两月蒸发约8300亿美元。其股价大跌受涨幅高、竞争加剧、市场担忧AI泡沫等因素影响。行业是否迎泡沫破灭期待观望,即便有泡沫,AI仍是科技趋势。

芯师爷
新闻资讯8

山东大汉苦战15年,硬改全球第三代芯片格局

本文讲述宗艳民创业历程,他从灯泡厂工程师到卖挖掘机,后投身碳化硅产业。天岳先进攻克技术难题,实现量产,获华为投资,还斩获半导体大奖。而美企Wolfspeed破产,天岳先进等中国公司崛起改变行业格局。

芯师爷
新闻资讯7

150+项目定点!这家国产MLCC,正被车企“疯抢”

近日,微容科技首席技术专家谭斌在论坛分享演讲。该司主营MLCC,虽入行晚但有后发优势。汽车电子化使MLCC需求增,其对MLCC要求严苛,微容多方面突破技术,已合作定点项目150+。

芯师爷
开源动态8

千星项目LLMRouter:多模型路由,16+策略优化推理

UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。

新智元
开源动态8

DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini

DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。

新智元
技术实践8

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。

阿里云开发者
新闻资讯7

美国模型长期霸榜的LMArena,出现了一个国产模型

2025 年底,中美 AI 阵营发展路径有区分,美国多是强模型加工具链,中国在多方面发力。12 月 23 日 LMArena 更新文本榜,百度文心新模型 ERNIE - 5.0 - Preview - 1203 以 1451 分登上榜单,成中国第一且是前 20 名里唯一非美国模型。

MacTalk
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM