「大模型预训练」共找到 9479 篇相关文章
百川开源医疗增强大模型 Baichuan-M2：更符合中国临床诊疗场景，可 4090 单卡部署
百川智能发布并开源医疗增强大模型 Baichuan-M2，以更小尺寸反超 OpenAI 新模型。它可 4090 单卡部署，成本低，在 HealthBench 评测表现佳，免费开源，更适配中国临床诊疗场景。
从它石智航的世界纪录里，我看到了具身大模型落地干活的希望
在上海AWE展会，它石智航的A1机器人获“机器人在一小时内装配亚毫米级线束最多次数”吉尼斯世界纪录。这得益于它石自研通用具身大模型「AWE3.0」，该模型实现多项突破，推动具身智能落地。
DeepSeek-R1今天一次「小更新」，颠覆了大模型格局，网友：尽快放R2
昨晚，DeepSeek官方宣布其R1推理模型升级到最新版本（0528），并公开模型及权重。该版本参数量高达6850亿，采用MIT许可证，性能提升明显，在多个基准测试中成绩优异，网友实测代码能力也大幅提升，但仍存在过度思考问题。
亿级短视频数据突破具身智能Scaling Law！Being-H0提出VLA训练新范式
真机数据匮乏使具身智能VLA模型发展受限，现有真机数据与所需上亿级训练样本相差甚远。BeingBeyond团队提出创新性方案，利用人类视频手部数据构建数据集，训练出VLA模型Being - H0，经实验验证效果良好。
LLaVA-OneVision-1.5全流程开源，8B模型预训练只需4天、1.6万美元
灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5，全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元，在多模态基准上性能优，还公开数据构建与训练策略等细节，复现简单。
对话八位具身智能大咖：模型之争、数据来源与第一性原理｜甲子光年
在11月20日智源具身OpenDay上，甲子光年创始人张一甲与八位具身智能领域核心践行者对话。探讨世界模型、统一架构等问题，指出具身智能虽前景好，但面临数据、模型等困境，各方分享应对策略与决策原则。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
LLM不是所有！这几个模型你需要知道！
AI时代不止大语言模型，复合AI系统成共识。掌握各类模型特点对构建高质量AI应用关键，文章介绍了LLM、LCM、LAM等多种模型。
完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！
Moxin-7B由多机构团队联合开发，遵循“开源科学”原则，公开全流程细节。它训练成本仅16万美元，评测表现亮眼，在架构、数据策略、训练过程等方面有创新，为中小企业提供可控AI方案。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。