「多任务训练」共找到 6570 篇相关文章
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。
两周复刻DeepSeek-OCR！两人小团队还原低token高压缩核心，换完解码器更实用
两人小团队仅用两周复刻DeepSeek-OCR，复刻版DeepOCR还原其低token高压缩核心优势，还在关键任务上追上原版表现。它完全开源，无需大规模算力集群，训练方案适配中小团队。
通义实验室大火的 WebAgent 续作：全开源模型方案超过GPT4.1 , 收获开源SOTA
WebAgent续作《WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization》提出对information-seeking任务形式化建模，设计训练数据合成方法，全开源模型方案在GAIA评测获SOTA表现，还补足了训练数据不足问题。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
CMAME|美国西北大学，德州大学|Wing Kam Liu及 TJR Hughes 等: LLM赋能的下一代计算机辅助工程
工程仿真里有限元方法常见，但计算与人力成本高。此研究提出把大语言模型变为计算机辅助工程智能体，开发不依赖训练数据的降阶求解器，在多问题上表现佳，为下一代计算机辅助工程提供框架。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
从第一性原理出发的RAG推理新范式来了，蚂蚁DIVER登顶权威基准
当前RAG系统处理多步逻辑推理任务有局限，蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段，在BRIGHT榜单领先，行业对比优势明显，医疗应用效果好。