「笔记式形态」共找到 882 篇相关文章
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
OpenClaw构建自我迭代AI助手笔记
作者花3天体验OpenClaw，构建银行客户经理助手场景，验证通用智能体框架可用性。介绍Agent构建、迭代、交流及评估能力构建过程，对比OpenClaw与Claude Code、OpenViking，指出记忆系统问题，肯定专属智能体提升生产力的可行性。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。
Excel上微软式创新！=COPILOT()函数发布
微软CEO宣布Excel新功能`=COPILOT()`函数，可在单元格直接调用AI。它能进行文本分析、生成内容、整理数据，与计算引擎集成，结果随数据自动更新。现处测试阶段，有调用限制和版本要求。
The Btch：838 | 苹果加强生成式 AI 布局
苹果更新 Apple Foundation Models（AFM）系列，含设备端和服务器端版本，还发布 Foundation Models 框架。AFM 模型架构特别，训练有优化，测试表现有差异。此前苹果论文引争议，此次或是其重启 AI 战略之举。
The Batch: 870 | 手机上的主动式AI助手
谷歌发布Pixel 10，搭载Magic Cue AI系统。它基于新版Gemini Nano，运行在Tensor G5处理器上，能预判用户需求，自动提供相关信息。谷歌早就在手机推AI，此次将其深度融入系统和应用。
The Batch：925｜移动端AI应用爆发式增长
市场研究公司Sensor Tower报告显示，去年移动端AI应用下载量和收入迅速增长，非游戏应用收入首超游戏。OpenAI、DeepSeek等占大头，用户使用时长也大幅增加，AI成日常习惯。
sglang 源码学习笔记（二）- backend & forward 过程
本文深入解析sglang forward核心实现全流程，介绍了forward传递过程、AttentionBackend数据结构，以flashinfer为例展开分析，还说明了cudaGraphRunner初始化、Capture、Replay过程，助读者理解代码。
一种用于管理 AI 变革步伐的演进式架构模式
Cloudflare推出基于QuePaxa共识算法的Meerkat服务，可无领导者写入并保持强一致性，提高网络可用性。它预计将是QuePaxa全球首次生产部署，但存在局限性，如大量往返通信。