「FP8训练」共找到 2612 篇相关文章
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
40位数学家组成8队与o4-mini-medium比赛，6队败北
Epoch AI安排40位数学家组成8支战队，与OpenAI的o4 - mini - medium模型对决，考题来自高难度的FrontierMath数据集。结果AI以6:2击败人类，不过Epoch AI认为AI未明显超人类，但很快会达到。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
缓存命中率99.93%！DeepSeek最适合的Harness来了，GitHub狂揽8.6万Star
DeepSeek官方版Harness未出，民间开源编程Agent「Pi」先火。它适配DeepSeek，让其缓存不命中率低至0.03%，调用成本大降。Composio测试显示Pi完成任务平均成本最低。同时，DeepSeek正组建团队做官方Harness。
9.8K Star！谷歌开源神器 OSV-Scanner，一条命令扫出所有依赖漏洞！
文章介绍谷歌开源的轻量级命令行工具 OSV - Scanner，它能扫描项目依赖中的已知安全漏洞，连接项目依赖与 OSV.dev 数据库。支持多语言、多包管理器，有多种功能，可离线使用，还能提供修复建议和许可证扫描。
8.5K星 Agent 记忆准确率 94.6%，RAG那套被打穿了
AI Agent常没记忆，每次对话像白纸。Hindsight（vectorize-io/hindsight）有8500+ star，是仿生记忆系统，分三层记忆，检索系统TEMPR四路并发，在测试中成绩优异，且上手简单，能让Agent从经验学习。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。