「生成式预训练」共找到 4010 篇相关文章
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。
SIGGRAPH Asia 2025 | OmniPart框架，让3D内容创作像拼搭积木一样简单
香港大学等机构研究者推出OmniPart框架，解决3D内容创作难题，已被SIGGRAPH Asia 2025接收。它将生成任务解耦为两阶段，保证部件独立又能完美组合，质量和效率超现有方法，应用潜力大。
蚂蚁出手VLA，就是开源超越Pi0.5的基座模型
当前具身智能落地面临泛化能力不足的挑战，蚂蚁灵波开源发布的基座模型 LingBot-VLA 带来突破。它基于大量真实世界数据预训练，在多项真机任务测试中超越 Pi0.5，且在架构、效率等方面有创新。
基于Spring AI Alibaba 的 DeepResearch 架构与实践
本文基于 SpringAI Alibaba Graph 构建 Java 版 DeepResearch 系统，实现信息搜集到报告生成的全自动流程。介绍系统能力、架构、核心功能节点及技术点，还阐述 RAG、搜索、MCP、报告生成等功能，给出使用、部署和社区参与方式。
a16z：AI Coding 产品还不够多
a16z两位合伙人发文称AI应用生成平台不是太多而是太少。该领域发展如基础模型竞争，非赢者通吃，各平台找差异化共存。不同水平用户有定制平台，还应垂直细分。
比「小龙虾」更能打，中国AI视频大模型悄悄登顶全球第一
昆仑万维旗下 SkyReels-V4 Preview 版在权威评测平台超越 OpenAI、Google 等模型，登顶全球第一。它提升语义理解和逻辑能力，新增参考任务，还支持多语言短剧生成、视频编辑等，将在中关村论坛亮相。
jina-reranker-v3刷新全球重排榜，效率狂飙4.79%
jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
吞下17亿图片，Meta最强巨兽DINOv3开源！重新定义CV天花板
Meta训出70亿参数「视觉巨兽」DINOv3并完全开源。它用自监督学习，无需人工标注，可生成强大图像特征，在多任务超专用方案，NASA已用其探索火星，还能推动多行业进步。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。