搜索：零预训练 - AI Reading Hub

「零预训练」共找到 2462 篇相关文章

腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？

最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。

清华开源首个股票K线大模型Kronos，是专为金融市场K线序列预训练的模型，处理金融数据高噪声特性。采用两阶段框架，有安装、预测步骤，还有批量预测方法，项目地址为https://github.com/shiyu-coder/Kronos。

文章围绕Dario Amodei的采访展开，探讨AI多方面问题。他坚信计算要素假说，认为RL与预训练有相似规模化现象；预计一两年编码达AGI，十年内信心90%；谈AI盈利、算力采购、应用扩散等，还提及机器人革命和AGI定价。

小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。

OpenAI董事长Bret Taylor在对话中称，当下处于“加10倍速的互联网泡沫”时代，AI为初创公司带来挑战巨头的机会。他直言多数B2B公司“以客户为中心”是胡扯，还为AI创业者划红线，如应用公司预训练模型是烧钱。

3D重建领域中，NeRF和3DGS在新视角生成时易出现伪影，影响应用。英伟达团队提出Difix3D+，将预训练2D扩散模型用于3D渲染，单步去伪影，效率高、有泛化力，实验效果领先。

Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。

谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。

1X公司为机器人NEO引入1X World Model，使其学会‘想象’。该模型借助视频预训练，不依赖大规模机器人数据和遥操作演示，能泛化到新场景。实验显示其在多任务上表现不错，但精细操作有挑战。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。