「模型压缩」共找到 7737 篇相关文章
单张显卡跑出15倍推理速度，aiX-apply-4B小模型加速企业AI研发落地
3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。
警惕！大模型成本倒挂：你正在为模型的多余「思考」买单
一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象，低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集，指出推理token是成本倒挂主因，且实际开销难以预测。
DeepSeek开源的不仅仅是个新OCR模型。。。
DeepSeek开源3B参数的新OCR模型，重新思考AI处理长文本方式，用视觉token压缩文本信息。核心组件有DeepEncoder和DeepSeek3B - MoE解码器，实验效果好，成本降低，还解决了一些算法和工程问题。
“通用大模型微调成为行业模型是伪命题”？医疗 AI 深度重构，传神语联创始人何恩培：孪生智能体能砍 70% 线下复诊工作
本文为《2025年度盘点与趋势洞察》系列内容，传神语联创始人何恩培认为通用大模型微调成行业模型是伪命题。他表示孪生智能体能砍70%线下复诊工作，还分享了医疗AI发展、中医和西医落地方向及突破方向等见解。
压缩即是全部 —— 菲尔兹奖得主给数学和 AI 的一封信
2026年3月，菲尔兹奖得主Michael Freedman发表论文《Compression is all you need》，用代数模型回答人类构建数学、人类与形式数学区别、人类数学家与AI协作三个问题，答案是“压缩”。文章还探讨了压缩在多领域的体现及对AI的意义。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板
MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。
以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型参数膨胀，成本升高，业界重注小语言模型。近日，Boss直聘南北阁大模型实验室发布仅30亿参数的Nanbeige4 - 3B，在多方面媲美甚至超越通义千问Qwen3系列模型，开源印证小模型潜力。