搜索：大模型轻量化

「大模型轻量化」共找到 9167 篇相关文章

面对无解问题大模型竟会崩溃？港中文&华为联合提出首个大模型推理可靠性评估基准

港中文和华为诺亚实验室联合提出ReliableMath基准，探究大模型推理可靠性。提出评估准则，构建含可解与不可解问题的ReliableMath数据集，实验揭示大模型缺陷，还提出提高可靠性的对齐策略。

大模型推理评测多只看答案，忽略推理过程。上海多校团队提出TRM，用ME² principle刻画推理质量，DAG-based pairwise evaluation还原结构，训练奖励模型，让推理质量可度量、训练和优化。

北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。

大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。

本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。

MCP（模型上下文协议）是 Anthropic 于 2024 年 11 月开源的新技术，是 AI 大模型的标准化工具箱。它能让大模型与外界互动、获取信息、完成任务，整合 Function Call 标准，几乎所有大模型都可接入。

IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

上海AI Lab提出LEMMA方法，构建“错误 - 反思 - 修正”数据，让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据，实验显示在Llama3 - 8B上数学解题准确率提升13.3%。

过去通用视觉模型（VGM）是研究热点，想实现‘视觉模型大一统’。但大语言模型发展使研究热点转移，视觉‘独立性’被重新定义。清华鲁继文团队综述梳理其进展，探讨现状、挑战与应用潜力。