「低秩参数修剪」共找到 1600 篇相关文章
全球首个英伟达含量为0的万亿模型，成了海外开发者的抢手货
美团推出LongCat-2.0，是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强，适配主流编程工具，架构设计原创，还证明了国产算力有支撑大模型迭代的能力，训推成本更低。
刚刚，马斯克开源Grok 2.5：中国公司才是xAI最大对手
马斯克主导xAI正式开源Grok 2.5，Grok 3将半年后开源。Grok可在HuggingFace下载，运行有条件。虽Grok 2曾有不错表现，但网友对其参数权重、开源协议等有诟病。此外，还更新APP视频生成功能，马斯克称中国公司是xAI最大对手。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
王小川：医疗行业对大模型有三大刚性要求，但通用模型一条都不达标
5月22日百川智能展示医疗大模型Baichuan - M4与AI家庭医生「百小医」。王小川指出通用大模型用于医疗有问题，医疗对大模型有低幻觉、强循证、会提问的刚性要求，而通用模型不达标。Baichuan - M4表现出色，百小医也有独特定位和优势，且与三家顶尖医院合作成果显著。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。
Meta开源多语言语音识别系统，支持1600种语言，可轻松扩展新语种！
Meta研究团队开源Omnilingual ASR，能理解1600种语言，用几条语音 - 文本配对样本就能零样本扩展新语种。提供三种架构，满足不同需求，性能超现有多语种模型，应用场景广泛。
Qwen3.6-27B 开源：小小身材，超级码力
阿里云宣布开源 Qwen3.6-27B 多模态模型，支持多模态思考与非思考模式，在智能体编程方面超前代旗舰 Qwen3.5-397B-A17B。它已在 Qwen Studio 上线，开源权重可从 Hugging Face 和 ModelScope 下载，阿里云百炼 API 即将支持。
都标5美元，账单差三成！OpenAI高管：token从来没法直接比价
OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。