「生成式预训练」共找到 4026 篇相关文章
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
八年后，Meta教会了Transformer「显式思考」
10月20日Meta上线新论文《The Free Transformer》，作者François重写Transformer思维方式，造出Free Transformer新架构。它在解码器内加入随机潜在变量，让模型生成内容前先‘思考’，实验显示在多任务上性能显著提升。
刚刚，谷歌放出Nano Banana六大正宗Prompt玩法，手残党速来
谷歌 Nano Banana 被网友玩出花样，背后是巧妙提示词的功劳。刚刚谷歌官方公布了该模型六个文本转图像提示，可进行文本生成图像等操作，还给出对应提示模板，不过使用中也存在一些问题。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
天工Skywork开始"看"小红书了，1247个帖子的图片信息被它吃透！
昆仑万维技术发布周推出Skywork Deep Research Agent v2。它整合多模态检索理解和跨模态生成能力，有信息检索、小红书Agent等功能，Office Agent也有升级，还新增积分预估等特性，邀测后将全量开放。
ShellAgent 2.0 体验：让前端消失，省掉 70% 开发资源
本文介绍Myshell ShellAgent 2.0测试情况，它仅用提示词就能生成Agent应用，摆脱前端构建流程，降低创建门槛。文中展示创建计算八字、分析钱包资产、拆解学习资料等应用案例，还能Remix他人发布的应用。
南洋理工 | 推出开源版MetaQuery：OpenUni，1.1B参数媲美BLIP3-o-8B
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。
大神Karpathy炮轰复杂UI应用没有未来，Adobe首当其冲，网友：不提供文本交互，就是在阻挡AI浪潮
大神Karpathy预言只有复杂UI界面、不提供文本交互的应用将被淘汰，还点名Adobe、CAD。他言论引发讨论，支持者强调后端接口，反对者认为专业软件有其价值。此外，他还批判大模型编程‘重生成轻判别’。
实测字节扣子空间：AI 播客比真人丝滑，Agent 能打 80% 的工
本文对字节跳动旗下 Agent「扣子空间」进行实测。它上线新玩法一键生成播客，相比通用 Agent 能力更丰富。此外，它还具备搜图、深度分析、写代码、开发网站等功能，兼具通用能力与低代码开发特点。