「低秩参数修剪」共找到 1605 篇相关文章
GPT-5.1发布当天，文心5.0杀回来了
2025百度世界大会发布文心5.0，这一2.4万亿参数的原生全模态模型，训练之初融合多模态数据，支持联合输入输出。同日OpenAI推出GPT - 5.1，文心5.0在多方面表现出色，如情绪安抚更贴心、多模态理解能力强等。
首个代码世界模型引爆AI圈，能让智能体学会「真推理」，Meta开源
Meta重组后的AI部门推出首个代码世界模型CWM，是320亿参数开放权重LLM。它与传统大模型思路不同，能模拟代码执行。CWM在通用编程与数学任务表现不错，Meta还开放相关检查点以支持研究。
小红书最新开源TTS力作！4人对话自然无缝，毫秒极速响应！
近年来TTS技术爆发，但多人对话的自然流畅性和长序列稳定性一直是难点。小红书团队开源的FireRedTTS - 2是面向多人对话场景的TTS模型，实现自然切换和低延迟，支持多语言，适用于多种场景。
沉寂一个月，openPangu性能飙升8%！华为1B开源模型来了
华为发布专为昇腾端侧硬件打造的openPangu Embedded - 1B模型，仅10亿参数却性能卓越。它运用多阶段训练和优化，在权威基准表现亮眼，V1.1平均分较上月跃升超8%，还介绍了背后技术。
微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。
小红书团队开源dots.ocr：文档解析新王者，性能比肩Gemini！
文档解析领域处理多语言复杂文档需高效能力，传统OCR工具存在不足。小红书HiLab开源多语言文档解析模型dots.ocr，基于1.7B参数视觉语言模型，性能达SOTA，单页PDF处理快，公式识别媲美大模型。
阿里AI 重磅第4发：电影级MOE 视频模型Wan2.2正式开源！
阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。
4000万样本炼出AI读心术，刷新七榜SOTA，最强「人类偏好感应器」开源
Skywork-Reward-V2全新发布，构建超高质量千万级人类偏好样本，刷新七大评测基准SOTA。8款模型覆盖6亿至80亿参数，小体积也能媲美大模型性能。团队引入多样大规模真实人类偏好数据，提升数据规模与质量。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。