「量化原理」共找到 424 篇相关文章
The Batch: 863 |推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。
2025年最有趣开源!把电脑触控板变成电子秤,10秒就能安装玩起来。
TrackWeight是macOS应用,能借助Force Touch压力传感器,把MacBook触控板变成电子秤。使用时打开应用,手指轻触触控板放物体即可测重,可通过DMG等安装,实现原理基于压力感应技术。
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
一周暴涨117.5k星星!可以逆向复刻一切软件,SAAS生态彻底死掉
本文介绍爆火的开源AI逆向工具REA,不到一周GitHub涨117.5k星,可基于Agent逆向复刻各类软件,讲解其原理、工作逻辑与功能,讨论其对SaaS生态的冲击。
DeepSeek Harness 保姆级教程:安装配置、模式详解、Token消耗&竞品对比
本文是DeepSeek Harness的保姆级教程,从零讲解这款开源AI Agent运行框架的核心特性、安装部署、功能模式、Token消耗机制,横向对比主流竞品给出选型建议,新手也可快速上手。
我去,终于找到原因啦,58.4k Star MemPalace,不敢相信!!!!
AI编程中,上下文压缩后易丢失关键信息。MemPalace将对话和资料按原文存本地,按项目和主题精准找回。本文讲清其存储与检索原理、使用场景、注意事项及安装建议。
YOLO26(极速目标检测) + SAM3(精准掩码生成) 搭建一套实用的流水线
文章介绍用 YOLO26 极速目标检测和 SAM3 精准掩码生成搭建流水线。阐述二者原理,给出环境配置、实战代码,分析结果,还介绍进阶优化技巧和常见问题解决方案,适合实时应用场景。
谷歌推出 LLM-Evalkit,为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit,让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节,与谷歌云工作流集成,有无代码界面,已在 GitHub 发布。
最好的 DeepResearch 平替开源了
ROMA是元代理框架,以递归分层结构解决复杂问题,有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务,介绍了安装选项、技术栈,还有预构建代理展示功能。
14%论文都有AI代写?Nature:每7篇就有1篇藏有ChatGPT特征词
据Nature报道,研究发现在2024年PubMed上超20万篇生物医学研究摘要频繁出现LLM特征词。部分国家和学科中,AI辅助写作比例超五分之一且趋势上升,作者还会引导LLM规避痕迹。