「性能测评」共找到 2039 篇相关文章
仅10行代码,轻松打通你的AI应用与DB:谷歌开源数据库MCP,Star突破4.6k
谷歌开源面向数据库的MCP Toolbox,位于应用编排框架和数据库间,处理连接池等复杂问题,简化工具管理。它能助开发者构建让智能体访问数据库的Gen AI工具,有开发简便等优势。
模型压缩与量化:让大模型走向轻量化落地
文章介绍模型压缩与量化技术,其能在保持性能时降低大模型计算和存储需求,实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景,并探讨未来发展方向。
摩尔线程之后,又一家国产 GPU 独角兽完成上市辅导
6月23日,国产GPU龙头沐曦IPO辅导完成,将提交申报材料。其为异构计算提供全栈GPU方案,产品有曦思N、曦云C、曦彩G系列。曾与书生・浦语3.0合作,2024年交付多个算力集群。此外,国产GPU厂商纷纷IPO。
逐个token太慢!大模型原生并行出token,CMU、英伟达新作Multiverse
卡耐基梅隆大学(CMU)和英伟达研究者提出Multiverse,这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题,通过多方面协同设计构建推理模型,还开源了生态系统。
类R1训练不再只看结果对错!港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后,类R1结果奖励训练范式引发推理热潮,但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1,引入‘思考奖励’机制,还用Trust - GRPO算法解决奖励欺骗问题。
DGM:首个可通过重写自己的代码来实现进化的AI Agent
Sakana AI发布Darwin Gödel Machine(DGM),可通过重写代码自我进化,突破了当前AI Agent智能固定的局限。它在多测试中表现出色,能力具通用性,但也有潜在风险和局限,团队已开源并提出未来研究方向。
全面评估多模态模型视频OCR能力,Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型(MLLM)视频OCR能力。构建精细任务体系和高质量数据集,评测18个主流MLLM。即便如Gemini - 2.5 Pro,准确率仅73.7%,暴露出MLLM在视频OCR领域能力局限。
Linear-MoE:线性注意力遇上混合专家的开源实践
近年来,线性序列建模和混合专家(MoE)研究进步大,但两者结合研究少,相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架,实验验证其有诸多优势。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
13K star!这个项目太顶了,自动化 API,后台作业,工作流,UI开发,低代码一网打尽!
日常开发构建和管理内部工具费时费力,第三方方案费用高。开源项目Windmill是开发者福音,能将脚本自动转换成工作流程和UI,适用多场景,有自动UI生成等特色,安装使用简单。