「R1模型」共找到 8381 篇相关文章
vLLM Ascend超越MindIE? 昇腾推理Qwen3与DeepSeek R1 Distill性能实测
国内开发者在昇腾NPU上进行大模型推理面临挑战,华为MindIE推理引擎使用门槛高。昇腾联合vLLM社区推出vLLM Ascend插件。本文用GPUStack平台实测其与MindIE性能差异,得出两者在不同场景各有优势的结论。
一场对话,我们细扒了下文心大模型背后的技术
信通院大模型推理能力评估中,文心X1 Turbo获最高级“4+级”。百度AI Day上,副总裁吴甜解析文心4.5 Turbo和文心X1 Turbo,从多模态、深度思考等方面介绍技术,还展示其在多场景应用成果。
北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!
北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。
5款大模型考「山东卷」,Gemini、豆包分别获文理第一名
近日,字节跳动Seed团队用2025年山东高考真题对5款大模型进行全科闭卷测评。结果显示,豆包Seed1.6 - Thinking获文科第一,Gemini 2.5 Pro获理科第一。大模型一年间进步显著,未来或融入更多领域。
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。
1/15成本,实现AI水印新SOTA | 南洋理工大学&A*STAR
给AI生成作品打水印成行业共识,但传统方法有短板。南洋理工大学等机构研究人员提出局部鲁棒图像水印方法MaskMark,成本仅为Meta模型WAM的1/15,在多任务中表现优异。
省下1.25倍算力!Kimi这篇论文,可能改写所有大模型的训练方式
大模型层数增多时,残差连接存在PreNorm稀释问题,导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案,还给出工程解法Block AttnRes,实验显示能省算力且提升效果。
实测Perplexity Pro平替模型,免费开源仅4B
一款仅4B大小的开源模型Jan-v1,声称能平替Perplexity Pro,且完全免费、支持本地部署。实测发现,它在检索增强生成、上下文深度分析等能力上表现不错,入门级显卡即可带动本地部署。
抛弃“级联”架构!快手OneRec用大模型重构推荐系统,服务成本降至1/10
传统级联式推荐架构有瓶颈,快手用OneRec重构推荐链路,服务成本降至1/10。文中介绍OneRec架构、Tokenizer方案、强化学习奖励设计,还提及优化及多模态联合训练方向。
AI集体“听不懂”!MMAR基准测试揭示音频大模型巨大短板
MMAR基准测试对30款音频相关模型进行测试,结果显示,多数开源模型面对复杂音频推理任务远未达实用水平,音乐任务中所有模型表现不佳,且有显式推理能力的模型表现更优。