搜索：预训练语言模型

「预训练语言模型」共找到 8344 篇相关文章

谢赛宁团队新作：不用提示词精准实现3D画面控制

谢赛宁团队新发布的Blender Fusion框架，结合图形工具 (Blender) 与扩散模型，让视觉合成不再仅依赖文本提示，实现精准画面控制。其核心是对现有技术高效组合，还透露两项训练技巧提升泛化性。

BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。

Anthropic离职员工Behnam Neyshabur和Harsh Mehta创立Mirendil公司，获2亿美元种子轮融资，估值达10亿美元。目标是构建工具平台，让科研团队自主训练AI模型，采用递归自我改进技术。

浙江大学与港大团队推出「Prior Depth Anything」，融合深度传感器数据与AI深度图，一键补洞、降噪、提分辨率。无需额外训练，可提升3D模型深度质量，零样本刷新多项深度处理纪录。

AstrBot是聊天机器人及开发框架，松耦合、异步，支持多消息平台部署。它功能丰富，支持多种大语言模型，有Agent能力、插件扩展等，还介绍了多种部署方式、平台及提供商支持情况。

如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。

本文介绍AI模型自我进化方向的进展，涉及多机构的相关论文。如受“哥德尔机”启发的“达尔文哥德尔机”可自我改进；还有“自我奖励训练”“MM - UPT”“UI - Genie”等方法，展现AI自我进化潜力。

大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。

深势科技开源OmniScience数据集，含150万个高质量图文对。它利用先进工具攻克图文提取难题，经严格筛选成型，涵盖多学科。还设计重写流水线提升图文语义契合度，基于此训练的模型表现优异。

语音合成技术在大语种发展好，但小语种因语料稀缺等面临挑战。逻辑智能团队提出针对低资源语言TTS的解决方案，构建泰语数据集，经先进预处理，其TTS模型效果好，有零样本克隆能力。