「性能优化」共找到 2914 篇相关文章
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
破天荒！DeepSeek V4正式版居然要涨价，而且翻着倍地涨
DeepSeek官方邮件称7月上线V4正式版，高峰时段API各类token价格翻倍，但其他时段仍维持低价。此前它一直以低价著称，此次涨价或与算力紧张、自建数据中心有关，且更新将带来功能优化和性能提升。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。