「模型权重编译」共找到 8096 篇相关文章
编程能力开源SOTA,网络安全提升2倍!智谱发布GLM-5.3
智谱发布GLM-5.3,743B参数模型,编程能力达开源SOTA。网络安全能力涌现,基准得分是GLM-5.2两倍多。全部提升来自后训练缩放,还自研Z.ai Code Bench评估,安全评估加固后权重将开源。
GPT-5 核心成员详解 RL:Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈,探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合,GPT - 5 是 o3 迭代,还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
告别微调时代:拖拽式LLMs实现12000倍加速适配,输入描述,秒级定制LLM,效果、速度全面超越
传统高效微调技术成大规模部署瓶颈,论文提出Drag-and-Drop LLMs (DnD),仅需输入目标任务未标注提示,即可秒级生成适配的LoRA权重,实现LLM秒级免训练适配,效率、性能和泛化性上均有突破。
当Sora 2意外停摆,这个国产视频生成创业团队,直接「开源」三连击
OpenAI叫停Sora 2项目,同期北京AI初创公司Sand.ai在GitHub连续三天开源核心技术栈,包括音视频同出大模型、分布式Attention组件、全局编译框架,还介绍了团队和产品,展现全栈实力。
斯坦福新论文:微调已死,自主上下文当立
斯坦福大学等机构研究人员新论文指出,依靠上下文工程,无需调整权重,模型也能变聪明。他们提出智能体上下文工程ACE,不依赖模型重训,让上下文自主进化,在多场景测试中表现优于多种方法。
Z-Image标准版开源:更具可塑性的图像生成全能基座
Z-Image标准版开源,它是为开发者准备的强大画板,解决了生成模型同质化问题。其保留完整权重,在微调、风格化上潜力大,采用创新架构,训练定位SFT阶段,有完整CFG支持,还提供完善工具链。
单向VLM变双向!人大斯坦福等提出MoCa框架:双向多模态编码器
人大、斯坦福等机构提出MoCa框架,将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调,解决传统模型局限,在多模态基准测试中表现优异,尤其小规模模型性能突出。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式,如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus,提出“知识编译”概念,称能提高任务完成率、降低 token 开销,整个 AI 世界都在将“推理”往上游移动。
Meta 打造“组织第二大脑”智能体的设计思路
Meta介绍了一款名为"组织第二大脑"的AI智能体设计思路,旨在捕获存储领域专家专业知识,架构结合结构化可审计知识与自改进闭环,无需重训模型即可更新,最初用于合规领域,可推广至多个领域。
中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。