「性能优化」共找到 2833 篇相关文章
142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16
Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。
刚刚,DeepSeek最新发文!V3/R1训练细节全公开,信息量巨大
网信办新规生效,DeepSeek回应,标注AI生成内容,公开V3/R1训练细节。介绍训练分预训练和优化训练,深挖数据使用,还谈及推理、开源情况,也提到对抗AI幻觉与滥用风险的措施。
从静态模型到数字生命体:自进化AI Agent综述
近年大型语言模型催生AI智能体发展,但现有系统依赖人工预设,难适应动态环境。论文提出自进化AI智能体,可通过环境反馈自动优化,还提出三定律、四阶段范式演进模型等,开源EvoAgentX框架。
8种LLM架构设计大比拼:从 DeepSeek-V3 到 Kimi K2,究竟有啥不同
文章对比了8种LLM架构设计,如DeepSeek-V3、OLMo 2等。介绍各模型关键技术,像DeepSeek-V3的多头潜在注意力和混合专家架构,还分析不同设计对性能、效率的影响,助读者了解LLM架构差异。
Meta最新大模型RL微调:在线DPO/GRPO显著优于离线DPO
Meta和NYU研究强化学习在大模型微调中的有效性,对比离线、半在线和在线训练范式。半在线和在线显著优于离线,多任务结合可验证与不可验证任务能提升性能,还给出不同任务的测试数据。
工业异常检测新突破,复旦等多模态融合监测入选CVPR 2025
复旦大学等机构联合发布高精度多模态数据集Real - IAD D³,提出多模态融合检测方法D³M,成果被CVPR 2025收录。该数据集含多类数据,提升检测性能,此前相关工作也被CVPR 2024收录。
DeepSeek-R1今天一次「小更新」,颠覆了大模型格局,网友:尽快放R2
昨晚,DeepSeek官方宣布其R1推理模型升级到最新版本(0528),并公开模型及权重。该版本参数量高达6850亿,采用MIT许可证,性能提升明显,在多个基准测试中成绩优异,网友实测代码能力也大幅提升,但仍存在过度思考问题。
美光沉迷制造“电子黄金”,不在乎AI泡沫
当地时间12月17日盘后,美光2026财年第一财季多项业绩指标超预期,营收和利润大涨。美光不相信“AI泡沫”,其业绩增长源于AI驱动的高带宽内存需求爆发。美光预计HBM市场规模将快速增长,还进行了产品结构优化。
前两天刚被群嘲,ChatGPT转头就解决了一个数学难题
前些天,OpenAI研究员宣称GPT - 5‘发现’数学难题解法被指只是检索文献引群嘲。但加州大学洛杉矶分校教授用ChatGPT解决凸优化未决问题,还有教授用其发现命题反例,甚至要将其列为论文一作,AI正成研究伙伴。