「轻量化机制」共找到 1191 篇相关文章
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
创建“中国的ASML”！中芯国际、北方华创等掌舵人联名建议
多位中国集成电路行业领军人物联合撰文，提出在‘十五五’期间通过整合机制，集中力量解决极紫外光刻等关键问题，建议创立‘中国的ASML’，还设定了未来五年产业发展的量化目标。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
vivo自研蓝河操作系统内核开源！Rust开发新机遇来了
vivo宣布开源自研蓝河操作系统内核，它由Rust语言编写，解决了传统C语言难题，更轻量化、对硬件要求低且支持多架构。此次开源不仅是国产操作系统突破创新，还将推动Rust生态发展。
Jina Reranker v3: 全新“列式”重排器，0.6B参数刷新文档检索SOTA
Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。
不改模型也能提升推理性能？ICLR投稿提出测试时扩展新范式OTV
ICLR 2026投稿论文提出单token验证（OTV），是测试时扩展新机制，让模型能边推理边判断正误。它基于并行思考思路，借助轻量内部验证器分析推理过程，实验显示其性能优于主流方法。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
登顶TPC-C！数据库分布式扩展技术揭秘
阿里云PolarDB云原生数据库以超原记录2.5倍性能登顶TPC - C基准测试排行榜。本文揭秘PolarDB MySQL版多主集群（Limitless）架构与核心技术，还介绍高可用机制、性能测试结果，最后提及轻量版和列存索引应用。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。