「弹性预训练」共找到 2214 篇相关文章
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
从文心开源谈起，论大模型发展新生态
6月30日百度宣布开源ERNIE 4.5即文心4.5系列模型，实现预训练权重+推理代码完全开源。文心团队提出创新架构，增强多模态理解能力。今晚7:30，CSDN邀专家深度解读文心开源及行业趋势。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
突发！Opus 5.1被曝本周发布，最强AI智能体恐大洗牌
消息称Anthropic本周将发布Opus 5.1，其升级聚焦单Token智能水平，强化编程、推理、AI Agent能力；OpenAI 10万亿参数模型Bel完成预训练；企业选模型‘够用就好’，Anthropic Fable 5份额低。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
机器人学会「眼看手摸」！FreeTacMan 实现人类指尖亲自「授课」
OpenDriveLab提出的FreeTacMan，将人类视觉、触觉和动作技能高效传输给机器，破解精细操作难题。它配备高分辨率触觉“皮肤”，实现人类“手把手”教机器人“感知”，还通过融合时间感知的触觉预训练，提升机器人策略性能。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。