「轻量模型」共找到 8037 篇相关文章
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。
DeepSeek重磅开源3B OCR模型，一天处理20万页文档！一天内斩获6K标星！
DeepSeek开源3B OCR模型DeepSeek - OCR，参数量仅30亿，单张A100 - 40G一天能处理20万页文档，不到24小时获6K标星。它是视觉压缩引擎，解决大模型处理长文本算力爆炸问题，有诸多技术亮点。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
港科提出新算法革新大模型推理范式：随机策略估值竟成LLM数学推理「神操作」
香港科技大学联合团队提出 ROVER 算法，跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法，在高难度任务中大幅提高 pass@1 和 pass@256，且提升推理多样性，更轻量。
世界模型混战，Momenta率先冲刺IPO
当下世界模型是AI领域热门且混乱的概念，主流路线有四类。Momenta的R7世界模型已量产，其CEO定位公司为物理AI基座模型构建者。Momenta率先冲刺IPO，商业模式正转型，为后续玩家提供价值评估体系。