「性能优化」共找到 2836 篇相关文章
模型压缩与量化：让大模型走向轻量化落地
文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。
摩尔线程之后，又一家国产 GPU 独角兽完成上市辅导
6月23日，国产GPU龙头沐曦IPO辅导完成，将提交申报材料。其为异构计算提供全栈GPU方案，产品有曦思N、曦云C、曦彩G系列。曾与书生・浦语3.0合作，2024年交付多个算力集群。此外，国产GPU厂商纷纷IPO。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
一篇LLM × DATA技术最新系统性综述
上交大、清华等联合发表综述，探讨LLM与数据管理双向关系，分析LLM不同阶段数据管理技术与挑战并给出方案，还讨论了LLM在数据管理任务中的应用进展，为研究和实践提供指导。
DGM：首个可通过重写自己的代码来实现进化的AI Agent
Sakana AI发布Darwin Gödel Machine（DGM），可通过重写代码自我进化，突破了当前AI Agent智能固定的局限。它在多测试中表现出色，能力具通用性，但也有潜在风险和局限，团队已开源并提出未来研究方向。
Alibaba开源WebDancer解决DeepResearch复杂信息检索难题
Alibaba开源WebDancer，从数据和训练阶段出发提出端到端自主信息检索代理构建范式。实验中，它在GAIA和WebWalkerQA基准测试表现出色，处理复杂信息检索优势显著。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
Correlations：氛围测试你的向量模型
Jina AI分享内部调试可视化向量小工具Correlations，它能生成交互式热图展示内容间余弦相似度，提供多种交互方式。工具已在GitHub开源，适用于内容去重、验证引文等场景。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
AI 不会杀死初级开发者——但你的招聘策略可能会
文章指出在 AI 编码普及的行业，初级开发者角色转变但不可或缺。AI 虽自动化部分任务，却带来新挑战与期望。初级需培养新技能，避免过度依赖，公司也应调整招聘、培养和评估方式。