搜索：生成式预训练

「生成式预训练」共找到 4058 篇相关文章

赵长鹏投了一个华人大三学生，1100 万美元种子轮，做教育 Agent

华人大三学生 Kai Zhao 创立的教育 Agent 产品 VideoTutor，获 1100 万美元种子轮融资。该产品主打生成专属教学视频，解决 K12 美国高考学习痛点，团队技术与市场表现出色，还分享了硅谷大学生创业趋势。

Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。

文章推荐Dense Image Captioning新技术CapRL，它首次将DeepSeek - R1强化学习法用于image captioning，创新定义reward。训练的CapRL - 3B模型性能比肩Qwen2.5 - VL - 72B，解决了reward设计难题，已开源相关内容。

蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。

港科大论文指出，随着科学问题复杂度提升，传统科研范式显露出局限。基础模型（FMs）横空出世，具备通用性、规模与知识覆盖、推理与生成能力，可能引领科学进入第五范式，但也面临偏见、幻觉等问题。

Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。

深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。

9月底苏黎世电影节上，AI制作公司Particle6打造的AI女演员Tilly Norwood亮相引热议。这意味着AI视频生成技术正加速渗透影视行业，也引发了关于AI演员是否会取代人类演员等诸多争议。

OpenAI后训练负责人和DeepMind的AI4S大佬离职成立Periodic Labs，专注用AI Agent改造科研，攻克室温超导等难题，已获3亿美元融资。团队目标是培养AI科学家，构建自主实验室，还将应用于产业。

字节跳动Seed团队提出可扩展蛋白设计方法PXDesign，24小时生成数百高质量候选蛋白，效率较主流方法提升约10倍，湿实验成功率达20%–73%。还推出公开免费在线服务，提供配套工具加速应用落地。