「机制设计」共找到 2109 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
SGLang JIT Kernel 介绍
文章介绍SGLang JIT Kernel，此前开发CUDA Kernel流程繁琐、编译时间长，现基于TVM - FFI探索JIT开发加速迭代。文中梳理其机制、抽象及新增Kernel流程，还给出环境设置、目录结构等内容，并以实例说明开发过程。
模力工场 025 周 AI 应用榜：传统SEO黄昏？蓝莺 GrowAI 说让品牌出现在 AI 答案里！
模力工场第 025 周 AI 应用榜揭晓，8 款应用上榜，涵盖营销、效率、设计等多领域。蓝莺 GrowAI 成榜首，其开发者分享构建经验，还谈 AIGC 对 SEO 影响等问题。此外介绍上榜机制与参与方式。
The Batch: 948 | GLM 5.1：面向长时任务的能力提升
Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。
OpenAI也缺卡！僧多粥少，自曝内部抢卡抢到发疯
OpenAI正面临绝对的算力稀缺，总裁Greg Brockman自曝内部算力资源争夺严重。算力是创新根本驱动力，因资源有限，许多产品无法发布，如ChatGPT Pulse部分功能仅对Pro用户开放。OpenAI有资源分配机制，但平衡各团队需求不易。
GLM-5.1夺开源模型第一，长程任务更稳，一句话就能生成文章短视频
智谱官宣GLM-5.1开源，代码能力增强，在三项代码评测基准综合平均分上，取得全球模型第三、国产及开源模型第一。它专为长程任务设计，能8小时持续工作，还能一句话生成短视频，是平替Claude Sonnet 4.6的优选项。
纯CPU“踢开”GPU，中国超算九年后再登顶！
6月23日，国家超级计算深圳中心“灵晟”超算以2.19EFlops性能登顶全球超算TOP500榜单，这是世界首台超2EFlops的超算系统。它基于“灵鲲”平台，采用纯CPU设计，展现我国超算全栈自主可控能力。
“AI 在一线：开发人员如何重塑软件开发流程” ｜圆桌讨论
文章是关于“AI在一线：开发人员如何重塑软件开发流程”的圆桌讨论，多位嘉宾分享了AI辅助工具对软件开发的影响，包括加速原型设计、缩短项目时间等，也提到了局限性和需注意的问题，如信任和度量标准。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。