搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

回归C++: 在GGUF上构建高效的向量模型

Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。

视觉 - 语言 - 动作模型（VLA）在机器人操控领域潜力大，但应对长时序或精细操作任务时性能下降，根源是缺乏三维空间感知与推理能力。中国科学院自动化研究所与灵宝 CASBOT 提出 QDepth - VLA 模型，提升了机器人空间推理与操控精度。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。

近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。

OpenAI研究员Alexander Wei宣布团队开发的内部推理模型在IMO 2025中获相当于人类金牌成绩，还透露GPT - 5即将发布。模型按人类规则评估，解决5个问题，代表AI通用推理能力飞跃，成果不局限于数学推理。

谷歌推出首个广泛开放给开发者的机器人具身推理模型Gemini Robotics - ER 1.5，可作为机器人高级推理大脑。它能解决物理问题，有新能力如快速空间推理等，还能让开发者平衡延迟与准确性。

基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。

上海AI Lab的OpenDataLab团队通过大规模实验剖析可验证强化学习（RLVR）在多领域推理中的机制，发现逻辑与数学数据相互支持、代码推理有跨领域混合效应等，为构建AI推理模型提供关键发现。