「内部实验模型」共找到 8360 篇相关文章
Meta为他豪掷2亿美元,上交校友庞若鸣,晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta,Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》,介绍了AXLearn系统优势、架构、实验评估等。
GAG:超越RAG,无需检索的私有知识注入新范式
在高价值私有场景,主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案,无需检索、固定底座、单Token、即插即用,实验显示效果佳,也指出跨域组合等局限。
打破长视频理解瓶颈:HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳,CMU和小红书团队深入研究,首次提出多模态RoPE扩展策略理论评估框架,指出现有泛化能力不足原因,提出HoPE大幅提升VLM长度泛化能力。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境,ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件,构建科研任务集合,评估智能体在科学任务上的表现,发现现有模型在科研工作流中远未成熟。
苹果庞若鸣也被小扎挖走!Meta AI天团开会直接用中文吧
Meta超级AI实验室内部交流可用中文,苹果基础模型团队负责人庞若鸣被其挖走。Meta还从OpenAI和Anthropic各挖一人。目前其AI天团14人名单中9个是华人,苹果AI进展堪忧。
南开 && UIUC | SearchAgent-X,打破「效率瓶颈」,让复杂「AI搜索智能体」走向现实
南开大学和伊利诺伊大学厄巴纳 - 香槟分校的研究提出SearchAgent - X框架,解决大型语言模型驱动的搜索智能体效率痛点。它剖析制约效率的原因,通过两大‘加速引擎’优化性能,实验显示效果显著。
RL成本降幅超90%!Meta提出Agent训练新范式DreamGym
传统强化学习(RL)训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架,以经验合成为核心,通过三大组件协同工作,在多种任务和模型上提升性能,为通用Agent训练开辟新路径。
用SFT打出RL的效果?微软联合提出高效后训练算法
大模型后训练阶段,SFT 和 RL 各有优劣。微软等联合提出新工作,量化 SFT 和 RL 在数据层面的差距,提出 IDFT 和 Hinted Decoding 等高效后训练技术,实验显示新方法泛化超 SFT、效率超 RL。
DeepMind 颠覆机器人学习范式:让机器像人一样 “自由成长”
谷歌DeepMind受大模型微调中强化学习阶段启发,提出面向机器人学的两阶段后训练方法,含监督微调与自我提升。实验显示该方法让机器人自主习得新技能、广泛泛化,但研究也存在标注成本高等局限。