性能优化」共找到 2824 篇相关文章

开源动态8

黑森林FLUX.2 Klein开源,亚秒级高质量图像生成和编辑,普通电脑就能跑

黑森林实验室发布开源的FLUX.2 Klein模型家族,是紧凑架构,将高质量图像生成与编辑速度压缩至亚秒级,在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒,还与NVIDIA合作优化

AIGC开放社区
开源动态8

碾压DeepSeek V3!阿里开源新版Qwen-3,屠榜级断层第一

今天凌晨1点,阿里巴巴开源Qwen3系列新版本Qwen3 - 235B - A22B - 2507。它是非思维推理的指令微调模型,性能强劲,在多类测试基准中大幅超DeepSeek开源的新版V3 - 0324及月之暗面的kimi - k2。

AIGC开放社区
开源动态8

没想到,最Open的开源新模型,来自小红书

向来低调的小红书昨日开源首个自研大模型 dots.llm1,它是中等规模的 MoE 模型,在较小激活量下性能良好。其开源力度堪称行业最大,还介绍了数据处理、训练优化等多方面技术细节。

机器之心
产品应用8

LLM 技术在有道词典笔上的应用实践

本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。

InfoQ
推荐文章7

Mini-sglang-01:从Client到Scheduler的消息流转之旅

文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。

GiantPandaLLM
推荐文章7

AI Infra 工程师们如何应对大模型流水线里的“暗涌”?

InfoQ《极客有约》X AICon 直播,邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。

InfoQ
新闻资讯8

用 Astra+Codex 干掉 CUDA!奥特曼9个月AI造芯反杀英伟达 GB300

北京时间昨日凌晨,OpenAI 公布自研推理芯片 Jalapeño 实测结果,其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯,9 个月完成硬件设计优化,3 个月搞定软件栈,威胁英伟达 CUDA 根基。

AI前线
推荐文章7

【博客转载】CUDA Local Memory

文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。

GiantPandaLLM
新闻资讯7

破天荒!DeepSeek V4正式版居然要涨价,而且翻着倍地涨

DeepSeek官方邮件称7月上线V4正式版,高峰时段API各类token价格翻倍,但其他时段仍维持低价。此前它一直以低价著称,此次涨价或与算力紧张、自建数据中心有关,且更新将带来功能优化性能提升。

量子位
产品应用8

面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA

2025智源大会,面壁发布MiniCPM4.0端侧模型,含8B稀疏闪电版与0.5B款。其采用InfLLM架构,实现长文本推理5倍提速、最高220倍加速,还在性能、部署等方面优化,适配多芯片与框架。

AI科技大本营