「长文本训练」共找到 2941 篇相关文章
美团杀入视频生成模型赛道，LongCat-Video 136亿参数媲美顶尖模型，效率提升10倍
美团LongCat团队发布LongCat - Video基础视频生成模型，有136亿参数量，多任务表现出色。它核心亮点多，还建立了数据处理流水线，采用特殊架构和训练方法，提升了生成效率，性能媲美顶尖模型。
基于DINOv2和SAM2改进的U-Net模型
DSU-Net是基于DINOv2和SAM2改进的U-Net模型，通过多尺度跨模型特征协作和轻量级适配器模块，解决现有图像分割模型在特定下游任务表现不足问题，提升分割精度，降低训练成本。
DeepSeek开源新模型，提出上下文光学压缩：LLM的新记忆方式
DeepSeek开源OCR模型，探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens，压缩比10倍、准确率97%。还提出模拟人类遗忘等想法，有多种应用场景，且完全开源。
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。
经典之作！Agent无需奖励也能学习：通过“早期经验”的Agent Learning
该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。
Code2Video：代码驱动、智能体协同、精准可控的教学视频生成
新加坡国立大学 ShowLab 团队提出 Code2Video，一种基于代码驱动的视频生成新范式。它以可执行代码为媒介，结合三智能体协同框架，解决了现有文生视频方法在教育场景的不足，在美学和教学效果指标上有明显提升。
LeCun团队开源首个代码世界模型：能生成代码还能自测自修！传统编程模型一夜成古典
Meta FAIR推出全球首个代码世界模型CWM，它能生成代码、理解语义，还‘懂得’代码执行，能模拟运行过程。在多个代码与推理任务表现出色，开源代码、训练细节等，不过目前仅支持Python。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
基于离散扩散模型的高效音频修复方法
数字音频时代音频易损坏丢失，传统修复法处理长间隙不佳。本古里安大学研究人员提出基于离散扩散模型的音频修复法，经MusicNet数据集实验验证，该方法在各间隙长度上表现优异。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。