「LoRA - MoE」共找到 175 篇相关文章
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
中美 NeoLab 对话：模型和 Agent 如何实现「持续学习」？
在新加坡 AGI Playground 2026 舞台上，AMI Labs 林敏和 Mind Lab Andrew Chen 深度对谈，探讨 Agent 如何将经验转化为能力、持续学习。两人对持续学习给出不同答案，还讨论记忆、学习等基础问题及解决办法。
刚刚，DeepSeek 突发梁文峰署名新论文：V4 新架构提前曝光？
今天凌晨，DeepSeek在其GitHub官方仓库开源了新论文与模块Engram。该论文提出“查—算分离”机制，通过引入可扩展的查找记忆结构，在等参数、等算力条件下提升模型表现，代码与论文全文均已开源。
ICML 2026｜表格异常检测能否告别「one-for-one」？OFA-TAD迈向one-for-all通用异常检测新范式
表格异常检测在多领域作用关键，但当前 one-for-one 范式成本高、泛化弱。Griffith 和同济团队提出 OFA-TAD，推进到 one-for-all 范式，在多源数据集训练一次即可迁移，实验表现优异。
700多个「坏模型」喂出AI测谎仪？Anthropic审计神器让AI自曝黑料
Anthropic故意训练近700个「有问题」模型，训了LoRA适配器（IA）让模型自报家门。IA在AuditBench平均成功率59%，但也存在幻觉、成本高、训练分布无指南等局限。
有人只用API就猜出了GPT、Claude、Gemini的参数量？社区吵翻了
研究人员李博杰在arXiv发布论文，提出“不可压缩知识探针”评测框架，仅通过黑盒API调用逆向估算LLM参数规模，给出GPT-5.5等模型参数量估算，引发社区广泛讨论与争议。
清华-腾讯联手：音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。