「AI笔记」共找到 9764 篇相关文章
CUTLASS 笔记 (2):混合精度 GEMM kernel
文章介绍实现支持不同精度的 GEMM 算子,解析精度转换技术细节,还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel,包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等,最后完成精度验证。
AI到底会不会取代我们的工作?
作者分析2023 - 2025年10月近1.8亿份全球招聘启事,发现2025年总招聘岗位降8%。创意执行岗、基层员工岗位减少,而创意策略岗、高层领导岗位降幅小。客服、软件工程师岗位较坚挺,机器学习等岗位逆势增长。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开,介绍其启用方式,详述批次不变性原理与Batch Invariant Ops实现,如Matmul Persistent Kernel设计;还阐述确定性采样、Attention Backend配置、AllReduce改动等,给出环境变量及测试脚本,有完整解决方案。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。
AI 的下一个战场:端侧模型崛起
大模型退烧,小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果,英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔,但技术含量不低,面壁智能在端侧模型探索上成果丰硕,其 MiniCPM 系列不断迭代,还在多领域落地。
基于聊天的 AI 编程高效实践
本文探讨 Agent 对软件开发和开发者工作流的影响,以 GitHub Copilot“Agent 模式”构建维基搜索应用为例,对比不同 LLM 模型性能,指出要发挥 Agent 效能,可采用人机协作流程,经验是掌控其成果的关键。
Self-Evolving Agents,AI的“自我革命”
LLMs静态性成应用瓶颈,自演化智能体成破局关键。本次分享的综述围绕演化什么、何时演化、如何演化三个核心问题展开,介绍了模型、记忆等方面的演化内容、时机和方式。
The Batch: 844 | AI 天气预测加速推进
美国国家飓风中心与 Google 的 Weather Lab 合作,利用新模型预测风暴。该模型能比传统方法更准确预测风暴形成、路径和强度,最长提前 15 天,测试表现优于 Google 之前的 GenCast 模型和 ENS 模型。
AI最尴尬的短板,中国科学院出手了
7月24日,中科院计算所“知境”团队发布知境社会心智大模型技术体系,为现有大模型补社会心智短板。其建评测体系SoMBench,设计训练系统Zing,用部署架构Actio,在多评测超越GPT - 5.5等,应用前景广。
AI数据工程师在应用中如何"返璞归真"
文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限,指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁,并介绍MktAI知识体系建设。