「LoRA训练方法」共找到 3289 篇相关文章
面壁MiniCPM4推理速度3倍,碾压同尺寸Qwen3,阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列,其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点,还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
全员本科生!何恺明组新作:文生图,258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I,基于MM - JiT架构,仅用258M参数实现不错效果,训练成本低。该架构删繁就简,去掉VAE和AdaLN等模块,性能提升,展现出与工业级模型的竞争力。
只看图片就能学会压缩Token!浙大&阿里新框架多轮VQA压缩率90%,精度不掉|CVPR 2026
多轮视觉问答成LVLM推理效率“照妖镜”,现有压缩方法在多轮场景翻车。浙大宋明黎教授团队与阿里联合提出MetaCompress框架,可根据图像生成最优压缩映射,实验验证其效果优,能平衡压缩率与精度。
Anthropic宣布练出神话级模型:Claude Mythos,代码和黑客能力吊打opus4.6,不向公众开放!
Anthropic宣布Project Glasswing计划,因训练出超强模型Claude Mythos Preview。该模型代码和推理能力超opus 4.6,扫描主流软件发现数千零日漏洞。此模型不向公众开放,计划先在Claude Opus验证安全机制。
前谷歌研究员发文:算力崇拜时代该结束了
前谷歌大脑研究员 Sara Hooker 发文指出,过去十年 AI 创新依赖算力,但如今持续扩展训练计算资源效率极低,收益递减。她探讨了影响算力回报率的因素,批判 Scaling Law,并提出未来创新方向。
一边秀肌肉,一边设围墙,NVIDIA 发布 OmniVinci,性能碾压 Qwen2.5-Omni,却被骂“假开源”
NVIDIA 推出多模态大语言模型 OmniVinci,结合架构创新与数据合成流水线,训练 token 仅为 Qwen2.5 - Omni 的六分之一,却在多项基准测试表现更佳。但采用限制商业用途的许可证,引发争议。
偷数据的AI公司被抓到了
Reddit发现AI公司利用Wayback Machine开放性,绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限,还起诉过违规公司。Reddit抵制该行为,宣布限制Wayback Machine索引其内容。
MoCa:首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点,中国人民大学等机构研究者提出MoCa框架,可将单向注意力VLM训练成双向多模态编码器。它分两阶段,实验效果好,未来可拓展模态、提升多语言适应等。
何恺明改进了谢赛宁的REPA:极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色,但与表征学习领域关联不大。谢赛宁团队提出REPA,不过较麻烦。何恺明团队提出Dispersive Loss,简化且性能强,无需预训练等,适用于多种模型。
通义实验室新研究:大模型自己「扮演」搜索引擎,提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch,提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练,让LLM自给自足,节省API成本,在多问答数据集表现优,为智能化检索提供新思路。