「预训练框架」共找到 3469 篇相关文章
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
干掉延迟！12G显存就能实现实时AI换脸直播，开源免费。
推荐开源项目PersonaLive，它是基于自回归流式扩散技术的实时人像动画生成框架。能平衡画质与低延迟，用一张照片在普通显卡实现数字分身实时驱动，有低显存、无限时长等特点。
为什么这篇谷歌论文被称为「Attention is all you need」V2
谷歌新论文《嵌套学习：深度学习架构的幻象》引发关注，被称为「Attention is all you need」V2。它指出主流优化器是关联记忆系统，提出嵌套学习范式，构建HOPE架构，为AI设计带来新思考框架。
360发布全球最强视觉语言对齐模型！榜单全面领先！
360发布FG - CLIP 2双语细粒度视觉语言对齐模型，几乎在所有数据集上全面领先。它能让AI在统一框架内看懂图像细节、理解中英双语，团队还提出新中文多模态评测基准。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
Depth Anything再出新作！浙大&港大出品：零样本，优化任意深度图
浙江大学与港大团队推出「Prior Depth Anything」，融合深度传感器数据与AI深度图，一键补洞、降噪、提分辨率。无需额外训练，可提升3D模型深度质量，零样本刷新多项深度处理纪录。
让RAG告别断章取义，HiChunk做到了~
现有RAG评测忽视文档切分，腾讯优图提出HiCBench评测基准和HiChunk框架。HiCBench含人工标注多级切分点与证据稠密QA，HiChunk用微调LLM建多级语义树，配Auto - Merge算法，实验效果佳。
开源复现o3图像思考！快手让AI不再被动看图，模型自主生成代码调用工具
Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。