「自回归架构」共找到 2864 篇相关文章
北大团队提出 SHINE:将任意文本转化为大模型 LoRA,仅需一次前向传播!
北大团队提出全新超网络架构 SHINE,仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数,支持多轮对话。该方法实用潜力大、架构创新高效,训练流程成熟,推理快速,为大模型持续学习提供新思路。
基于大模型的领域场景开发:从单智能体到多智能体的React框架设计与实现
作者团队经历从提示词工程到流程编排模式各阶段,现设计架构升级,选用层级指挥模式的React框架,实现单智能体对工具调用的反思规划,后续还将迭代实现多智能体协作,同时提及技术选型、系统架构等内容。
蚂蚁·安诊儿医疗大模型:正式开源并登顶权威医疗榜单
近日,蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构,经深度训练,是参数规模最大的开源医疗模型。该模型在多评测中表现出色,有三阶段训练流程,架构高效、推理快,已开源助力行业发展。
牛芯基于UB协议,以IP筑牢生态根基
本文围绕牛芯半导体在UB协议生态中的IP布局展开。UB协议填补国内空白、打破国外垄断,牛芯的PHY IP等取得进展。还介绍其设计理念、架构优势等,如对等架构、单边语义等,以及在内存池、拥塞控制等方面的应用,助力开放算力生态。
重塑记忆架构:LLM正在安装「操作系统」
现代大型语言模型(LLM)存在「记忆缺陷」,难以维持长期记忆。近期关于大模型记忆的研究增多,如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型,以及实现 LLM 记忆的多种方法和相关研究成果。
OpenAI 收购了自己的“甲方”公司
当地时间12月3日,OpenAI宣布收购Neptune.ai,该公司为企业提供AI模型训练跟踪工具,OpenAI本就是其客户。虽未披露财务条款,但报道称将以不到4亿美元股票支付,交易仍需满足成交条件。
ChatGPT架构师,刚发布了最新研究成果
Thingking Machines发布第三篇研究博客,核心作者是OpenAI联创John Schulman。研究关于LoRA参数高效微调方法,探究其匹配全量微调效率的条件,给出简化调参方案,还提炼出三个核心发现。
AI搜索引擎,苹果决定自研!代号WKA
据彭博社记者爆料,苹果预计明年春季推代号“世界知识问答”的AI搜索引擎,与ChatGPT等竞争;当下倾向用谷歌模型支持Siri部分功能。此前曾考虑收购Perplexity,现风向转变。
自构建智能体:一项 LangChain4j 实验
作者将LangChain4j文档交代码助手,让其参照构建智能体,设计多智能体系统编写、测试和调试代码。实验展示了LangChain4j优势,还对比监督者和工作流两种智能体实现模式,揭示速度与自主性权衡关系。
一篇19种自进化Agent Skill框架最新综述
这篇来自Rutgers大学和UNC Charlotte的survey,首次系统梳理Agent技能的进化与评估全貌,覆盖19种技能进化方法和10个评估基准。指出当前评估体系有诸多不足,如无法追踪技能多轮反馈后是否变好等。