「kernel工程」共找到 761 篇相关文章
具身智能开始进入「下半场」:从会干活到干完活
具身智能正处热门,国内今年上半年赛道融资额高涨。但钱与落地有落差,拉格朗日具身技术自研 Agentic OS,采用分层智能架构处理工程问题。还推动工序重构,制定技能矩阵和排期计划,其团队背景多元,赌让机器人干完活路径。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
员工吐槽“给 AI 擦屁股”更辛苦?揭秘企业 AI 提效的“悖论”与真拐点
InfoQ《极客有约》X AICon 直播探讨企业 AI 提效实战。嘉宾指出用工程化手段控制模型‘幻觉’、做好数据治理很关键。还讨论了模型使用、数据处理、提效感受、招聘标准、场景选择等问题。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用,K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题,阐述计算链和通信链上的应用,还提及性能数据和实现问题。
深度解析 OpenClaw 在 Prompt / Context / Harness 三个维度中的设计哲学与实践
文章从Prompt、Context和Harness三个维度解析OpenClaw设计思路。Prompt工程有动态组装与文件驱动特点;Context工程含可扩展技能、上下文压缩修剪及双层记忆管理;Harness工程为模型套“马具”,保障其可控运行。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突,它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例,对比有冲突、填充、swizzling三种实现,还分析了swizzling和填充优缺点。
20种机器人本体通吃!蚂蚁新一代VLA具身大脑刚刚开源了
2026 年具身智能 VLA 受关注,蚂蚁灵波发布新一代具身基座模型 LingBot-VLA 2.0,支持 20 种机器人构型,多方面能力提升,开源模型权重等,从架构、数据、后训练解决跨本体难题。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
智源技术分享:大模型行业应用新模式和关键实现路径
在 AICon 大会上,智源研究院周华分享大模型行业应用。分析落地问题,提出以大模型为核心的技术路径,涵盖数据、训练等环节,还给出数据生产流程建议,分享最新开源成果。
Scaling Law 仍然成立,企业搜广推怎么做才能少踩“坑”?
InfoQ《极客有约》X AICon 直播邀请京东颜林等探讨生成式推荐落地洞察。指出搜广推场景 scaling law 成立且在上升,还分享大模型对搜广推的改变、架构成长方式,及平衡成本等方面的经验。