搜索：智能体推理框架

「智能体推理框架」共找到 6072 篇相关文章

本地LLM万字救场指南来了！全网超全AI实测：4卡狂飙70B大模型

文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。

大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。

消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。

博主用11个场景深度测试昆仑万维的Skywork R1V4 - Lite，它能做到Gemini 2.5 Pro才能干的事，速度快、成本低。在定位、人物识别、生活实用、专业鉴定、学术研究等场景表现出色，核心突破在于主动图像操作与深度推理。

腾讯开源的高性能跨端框架 Kuikly，搭配 AI 开发，仅用 7.5 小时交付一套支持 Android、iOS、鸿蒙三端的 AI 聊天 App。介绍了开发过程，包括环境准备、需求分析、编码实现、集成自测、迭代优化和验收复盘，展示了“AI + Kuikly”的高效。

在AI编程领域，大家认为Coding领域的AGI似乎可以实现，然而真正的项目开发要求更高。近日，字节跳动Seed等联合发布首个评估编码智能体端到端仓库生成能力的基准测试NL2Repo - Bench，还介绍了其构建、评估等情况。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。

图灵奖得主杨立昆在万字对话中阐述AI逆行逻辑，认为LLM非通向人类智能的道路，因其缺乏预测行动后果等能力。他离开Meta创立AMI Labs，专注世界模型和JEPA架构，还介绍Tapestry项目，主张开源AI将统治世界。

本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。

Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。