搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

Qwen3-Next：迈向更极致的训练推理性价比

文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。

预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。

Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。

谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。

Browser Use团队开源bu - agent - sdk，设计理念简单，Agent就是一个for循环。它减少抽象、最大化模型自由度，解决了传统框架行动空间不完整等问题，支持多模型，开发者可自由选模型。

中山大学等机构推出SpatialDreamer，模拟人类空间认知过程，构建闭环推理流程，还提出GeoPO解决奖励稀疏问题，构建SpatialDreamer - SFT数据集。实验显示其在多基准达SOTA，为AI空间智能发展开辟新路径。

大语言模型成AI应用基础设施，黑盒服务模式引发信任危机。研究者提出IMMACULATE审计框架，能在不暴露模型信息、仅1%额外开销下，验证黑盒LLM API执行完整性，检测违规行为，相关论文与代码已公开。

小米大模型应用团队提出Midasheng - audio - generate与Xiaomi Any2Speech两大音频生成框架。前者可实现全场景声音重建，后者让AI学会理解声学空间与叙事逻辑，改变了语音合成应用场景与思路。

淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。

弗吉尼亚理工大学研究人员推出选型框架LensLLM，可预测微调后性能走势，解释大模型微调“玄学现象”。它基于全新PAC - Bayes泛化界限推导，降低成本近90%，被ICML 2025收录。