「人工智能优化」共找到 1685 篇相关文章
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。
0.016%参数撬动18%性能:关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术,传统PEFT方法需修改大量参数,新兴ReFT虽只需调整少量参数,但存在不足。本文提出CRFT,仅用0.016%参数量就提升性能,为轻量化推理增强开辟新路径。
创智突破:AI首次自主发现106个超越人类设计的神经网络架构
创智学院团队发布的AI超智能系统ASI - ARCH,自主发现106个超越人类设计的神经网络架构,建立“科学发现缩放定律”,实现从“自动化优化”到“自动化创新”转变,还将成果开源推动研究发展。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗,不讨论工具使用,侧重解读记录内容。以混合精度训练为例,介绍各步骤显存管理细节,还给出单层、双层模型及zero1训练的显存分析。
Qwen3-Embedding 全揭秘:从技术到服务,打造高效AI产品的关键路径
文章全面揭秘 Qwen3-Embedding,介绍其核心原理、优势、应用场景。还给出在 PAI 和百炼平台的使用方法,含部署、推理、微调等。通过对比实验,凸显其低延迟、低成本特点,未来将成语义理解核心设施。
上海交大/上海AI Lab翟广涛:当评测不再重要,AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题,他主张回归‘以人为本’,团队提出相关框架和技术路径,目标是训评一体。
阿里深夜开源王炸Agent!硬刚OpenAI,性能全面SOTA!
过去半年,开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型,用完整可复现方法论挑战闭源霸权,通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
彻底戳穿AI「失忆症」!超越OpenAI全局记忆,中国队开源LLM记忆操作系统
大语言模型有「记忆」缺失问题,国内顶尖团队打造出操作系统级AI记忆框架MemOS并开源且可商用。它将「记忆」升为「一级资源」,用MemCube封装记忆,评测显示性能优于OpenAI全局记忆方案。
如何像 Manus 交付业务需求-- OneAgent + MCPs 范式
文章介绍 Agent 发展历程,从单一 LLM 调用到 OneAgent + MCPs 范式。Manus 是 Loop 框架典型代表,将其与 Cline 开发范式结合企业 MCP Server,可完成多业务需求。同时指出该范式不足及发展方向,还介绍强化学习应用。
每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架,通过帧内并行采样、帧间自回归等方式,让视频生成在保持高质量的同时,效率大幅提升,还采用多项技术进一步优化。