「Batch Invariant Ops」共找到 131 篇相关文章
The Batch: 871 | Mistral测量了大语言模型的能耗、水耗与物料消耗
法国AI公司Mistral发布对Mistral Large 2的环境分析报告，涵盖全生命周期影响。研究表明单次使用影响小，但累计负担大。虽研究有不足，但其方法或推动环保型AI发展。
西交大提出QQWorld：仅需10行代码，世界模型成功率提升5.33个百分点
2026 年 3 月 Yann LeCun 等人提出 LeWorldModel，西安交通大学研究团队发现其存在问题，进而提出 QQWorld，用分位数—分位数匹配替换原有的 EP 正则，提升了规划成功率，还提出 Cross - Batch QQ 解决显存问题。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
八爪鱼微电子凭AI160-PRO再获行业权威认证
全国五金工业信息中心数据显示，八爪鱼微电子在指纹模组应用领域领先。其AI160 - PRO灵犀指纹模组有自研算法，识别佳；OP2088芯片算力强。公司坚持‘感算一体’，获认证见证国产技术发展。
越靠经验思考的岗位，越先被取代！OpenHex董舒：AI数字员工正在催生OPC一人公司
OpenHex董舒认为AI最大价值是替人出面干活，提出数字员工概念。他指出判断力密度高的岗位易被AI取代，中国服务业有发展机会。还辨析数字员工类型，介绍其平台OPS Agent，最后分享了数字员工相关Q&A。
记录下SGLang 开发，debug的几个技巧第二弹
作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
一篇被证明“理论有误”的论文，拿下了ICML2025时间检验奖
2015年发表的Batch Normalization论文在ICML 2025会议获时间检验奖。它引用超6万次，推动了深层神经网络发展。虽2018年被指理论有误，但仍有新研究发现其对训练过程的根本影响。
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。