搜索：大语言模型推理

「大语言模型推理」共找到 8255 篇相关文章

新手入门 | 搭建 AI 模型开发环境

文章为新手提供AI模型开发环境搭建方法，涵盖安装显卡驱动、CUDA、cuDNN、Miniconda、PyTorch、Transformers等，还介绍用Modelscope下载加载模型、PyCharm配置及解决常见问题。

本文提出M+长期隐空间记忆扩展框架，在MemoryLLM之上，将8B级模型有效记忆跨度从不到20k提升到160k+，显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题，为下一代语言模型提供支撑。

波士顿动力为Atlas人形机器人训练全新大型行为模型LBMs，它是语言指令驱动的策略模型，能完成复杂操作任务。构建模型有四步骤，实践遵循三大原则，还展示了其多方面操作能力与特点。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

文章围绕编程智能体展开，先厘清大语言模型、推理模型与智能体关系，指出智能体是含‘模型 + 工具 + 记忆 + 环境反馈’的循环系统，后介绍编程智能体六大核心组件，还对比了与 OpenClaw 的区别。

中科院、中山大学、北大团队针对高效微调模型合并难题，提出「方向鲁棒性」概念，揭示 PEFT 模块合并失败主因，给出 RobustMerge 解决方案，提升性能，成果开源。

行业首个具备“高刷”视频理解能力的多模态模型MiniCPM-V 4.5技术报告发布，提出三项关键技术，使模型在多任务达同级SOTA，8B参数规模超72B模型，推理快，开源后获社区好评。

大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。

谷歌推出首个广泛开放给开发者的机器人具身推理模型Gemini Robotics - ER 1.5，可作为机器人高级推理大脑。它能解决物理问题，有新能力如快速空间推理等，还能让开发者平衡延迟与准确性。

Meta等机构提出‘元认知重用’机制，让大模型学会反思总结。大模型打造‘行为手册’，与主流RAG系统有本质区别。研究人员设计三种实战用法，虽有局限，但为大模型推理难题提供了解决方案。