「生成式预训练」共找到 4011 篇相关文章
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
谷歌Nano Banana Pro炸了！硅谷AI半壁江山同框，网友：PS已死
谷歌推出基于Gemini 3 Pro的图像生成模型Nano Banana Pro，在图像编辑和生成上实现史诗级进化，有更广知识储备、超强文字渲染和精准细节把控。它支持4K原生，知识推理强还能直连搜索，玩法多样但也有改进空间。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
一行 Python，生成绝美城市地图海报！
开源君发现宝藏项目`prettymaps`，这是巴西开发者Marcelo Prates的开源作品，能从OpenStreetMap拉取数据画定制地图。它功能丰富，安装简单，可让普通人轻松进行地图视觉创作。
支持中文！NotebookLM自动生成播客
Google宣布NotebookLM语言摘要功能支持50多种语言，包括中文，可将上传文档转成播客对话形式。以一篇AI进化论文为例展示效果，其音频和内容质量不错，学习输入立体，还能助力AI播客创作。
9.9K star 惊艳，一行代码即可生成！
介绍了基于Python的开源工具MapToPoster，它能通过一行代码将全球任意城市地图转化为极简艺术海报。项目在Github有9.9k+ star，有多种功能特性，操作简单，降低了地图设计门槛。