搜索：高效推理框架

「高效推理框架」共找到 3711 篇相关文章

NIPS2025｜小红书智创AIGC团队提出布局控制生成新算法InstanceAssemble

当下文本生成图像扩散模型有进展，但现有布局到图像生成方法在复杂场景表现不佳。小红书智创AIGC团队提出InstanceAssemble框架，从架构和评测应对难题，实现复杂布局下精确图像生成，有广阔应用潜力。

人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。

文章介绍高性能计算（HPC）对大模型的重要性，回顾中国HPC发展历程，讲述清华高性能所郑纬民等学者贡献，还提及团队在大模型训练、推理、存储等方面成果，以及类脑计算等新探索。

腾讯混元团队开源4款小模型，最大7B。可在低功耗场景运行，支持微调。是融合推理模型，有快、慢思考模式，在多领域表现出色，亮点是agent和长文能力，已落地多元业务场景。

作者Dwarkesh Patel认为AGI不会马上到来。当前大语言模型缺乏持续学习能力，难以替代人类工作；计算机操作能力受训练周期、数据等限制；推理能力虽有突破，但仍需时间发展。作者给出了具体预测时间。

西湖大学团队提出PiFlow，一个基于信息论的自动化科学发现框架。它将科学发现视为结构化的不确定性降低过程，由科学原理指导，通过Min - Max优化机制平衡探索与利用，在多领域实验中效果显著，应用前景广。

现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。

本文提出LLM-in-the-loop意图聚类框架，以传统聚类为骨架，微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线，解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。

随着基于LLM的多智能体系统崛起，其安全隐患凸显。中国科学技术大学等机构提出G - Safeguard安全防护框架，它基于图神经网络，通过构建多智能体话语图等方式，能有效抑制恶意信息传播，有强大防御和泛化能力。

自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。