搜索：MXFP8量化Kernel

「MXFP8量化Kernel」共找到 239 篇相关文章

不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化

随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。

本文体验京东开源的端到端多智能体系统JoyAgent - JDGenie，它是产品级多智能体协同系统，开箱即用、支持本地部署。介绍其原理架构、本地部署测试步骤、二次开发方式，还指出特点与不足。

文章围绕建立统一数据采集和指标体系，搭建AI统一数据采集能力，定义AI出码率等核心指标，构建AI效率研发指标体系，还介绍了数据采集方案、指标计算等，实现数据驱动闭环。

具身智能进入数据scaling时代，VLA模型训练中数据并非越多越好。上海交大同济等校团队提出ATHENA框架，将影响函数扩展到十亿参数VLA模型，解决计算和筛选难题，实现313倍加速，实验证明其用更少数据获更好效果。

Focalboard 是一款开源项目，能解决团队协作和项目管理中任务杂乱、主流工具收费高、需私有部署等痛点。它功能丰富，适用于多种管理场景，支持本地部署，数据完全自控。

Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。

香港大学和GIM提出CogAlpha框架，将Alpha从‘公式’升级为‘代码’，搭建7层21个智能体探索体系，让大模型参与研究流程。在5个数据集上跑赢21个基线方法，还具可解释性。

微软发布 Agent 安全框架 MAF，它是 AutoGen + Semantic Kernel 的统一继任者。有三层中间件，对 MCP 采样默认拒绝，还加了工具审批中间件，编排用图模型，为生产环境安全治理设计。

介绍工具`LLMFit`，它用Rust编写，能自动检测硬件配置，判断大模型能否流畅运行，还可推荐最优量化版本和运行模式。该项目在Github获5.9k+ star，有多种安装方式。

最近 Github 出现工具 `LLMFit`，用 Rust 编写，能自动检测硬件配置，判断大模型能否流畅运行，推荐最优量化版本和运行模式。有一键硬件检测等特性，安装使用方便，降低本地部署门槛。