「性能评估」共找到 2550 篇相关文章
模型压缩与量化：让大模型走向轻量化落地
文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。
摩尔线程之后，又一家国产 GPU 独角兽完成上市辅导
6月23日，国产GPU龙头沐曦IPO辅导完成，将提交申报材料。其为异构计算提供全栈GPU方案，产品有曦思N、曦云C、曦彩G系列。曾与书生・浦语3.0合作，2024年交付多个算力集群。此外，国产GPU厂商纷纷IPO。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
Google新研究：降低大模型幻觉的全新视角——充分上下文！
谷歌新研究《SUFFICIENT CONTEXT: A NEW LENS ON RETRIEVAL AUGMENTED GENERATION SYSTEMS》提出“充分上下文”概念，剖析RAG系统失败原因并给出解决方案，对提升企业AI准确性和可靠性有重要意义。
医学领域也有世界模型了：精准模拟肿瘤演化，还能规划治疗方案
来自多机构学者联合提出医学世界模型（MeWM），赋予AI“预演”疾病发展的能力。它能模拟肿瘤演化，为个性化治疗提供辅助，有肿瘤演变模拟、生存风险预知和临床决策闭环三大核心功能。
危险？OpenAI 模型行为负责人：人类很快会进入「AI意识」，当前最重要是控制人机关系的影响
OpenAI模型行为与政策负责人Joanne Jang发文指出，与其争论AI是否有意识，不如关注其对人类“情感福祉”的影响。文章探讨了OpenAI在人机关系上的处理，以及如何塑造模型行为，还提及未来计划。
DGM：首个可通过重写自己的代码来实现进化的AI Agent
Sakana AI发布Darwin Gödel Machine（DGM），可通过重写代码自我进化，突破了当前AI Agent智能固定的局限。它在多测试中表现出色，能力具通用性，但也有潜在风险和局限，团队已开源并提出未来研究方向。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
13K star！这个项目太顶了，自动化 API，后台作业，工作流，UI开发，低代码一网打尽！
日常开发构建和管理内部工具费时费力，第三方方案费用高。开源项目Windmill是开发者福音，能将脚本自动转换成工作流程和UI，适用多场景，有自动UI生成等特色，安装使用简单。