搜索：大模型推理加速

「大模型推理加速」共找到 8385 篇相关文章

回归C++: 在GGUF上构建高效的向量模型

Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。

具身基模和通用机器人企业极佳视界完成近10亿元Pre - B轮融资。其具身基模全球领先，国内首家布局世界模型，原生本体开启量产，在多场景有开创性应用，获产业巨头和顶尖资本认可。

腾讯AI Lab梁振文和宋林峰提出“解耦推理与证明”框架，解决当前大语言模型在自动化定理证明领域“思考”与“证明”能力失衡问题，成功解决5道IMO难题并开源成果。

人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。

GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。

清华大学王笑楠团队提出催化剂设计新基础模型SurFF，发表于Nature Computational Science。它无需昂贵实验或耗时DFT计算，实现对金属间化合物表面暴露与形貌的高效、高精度预测，计算速度提升10⁵倍。

大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。

作者花大成本从后端、人味、前端、推理等维度，对glm 5.2、kimi k3等国产模型进行测试，展示各模型在不同测试中的结果，指出国模2T俱乐部的kimi和qwen下限高，且刻板印象需改变。

8月5日OpenAI上线两款开源模型，亚马逊云科技随即在旗下平台上线。此前微软借合作优势使Azure高速增长，如今OpenAI开源，亚马逊云科技模型生态更丰富，其产品受客户好评，增长势头难挡。

一篇论文发现冒号等符号、“Thought process：”等语句能欺骗LLM，让虚假回答通过。实验表明所有测试模型都会触发假阳性响应。研究人员构建新“评委”模型Master - RM，可让假阳性率接近0%。