「预训练模型」共找到 8112 篇相关文章
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。
大语言模型高考数学拿高分靠强化学习，那文科考高分得靠什么？
大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。
腾讯混元团队最新研究：让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》，尝试让模型在推理阶段根据输入实时动态生成适合任务的参数，而非依赖固定参数。通过多类实验验证，这种方式在图像编辑等任务中有明显优势，还降低了训练复杂度。
华为开源7B多模态模型，视觉定位和OCR能力出色，你的昇腾端侧“新甜点”来了
华为推出开源多模态模型openPangu-VL-7B，适配昇腾端侧。它推理性能性价比高，在多核心任务表现突出，技术报告还披露核心技术细节，为昇腾使用者带来新选择，丰富昇腾生态。
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。