「大模型预训练」共找到 9494 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
李飞飞世界模型公司一年估值暴涨5倍！正洽谈新一轮5亿美元融资
据彭博社消息，李飞飞创办的World Labs正以约50亿美元估值进行新一轮最高5亿美元融资。此前已累计融资2.3亿美元。该公司研发“大世界模型”，推出3D世界生成模型Marble。此外，Yann LeCun创办的AMI Labs也获资本关注。
AI生图迎来大升级：图像编辑达到像素级！背后团队大多来自Stable Diffusion模型基础技术发明团队
Stable Diffusion缔造者团队创立的 BFL 发布全新图像生成模型 FLUX.1 Kontext，可实现像素级图像编辑。它能以文本和图像为输入，有 Pro、Max、Dev 三版本，已在多平台上线，获用户好评，但也面临竞争。
LeCun亲自官宣！Meta世界模型V-JEPA 2登场！仅用62小时机器人数据，就能实现零样本控制！
Meta发布V-JEPA 2世界模型及三个新基准测试，Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练，用62小时机器人数据就能实现零样本控制，还将探索分层式模型和多模态建模。
Ilya 最新访谈，预训练时代终结后，AI行业来到了哪里？
Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。
李飞飞World Labs双模齐发，能「造」超复杂大场景，一手实测
李飞飞的 World Labs 推出 Marble 1.1 和 Marble 1.1-Plus 两款模型。Marble 1.1 提升视觉效果，Marble 1.1-Plus 能生成更大更复杂场景。官方建议初用选 Marble 1.1，创建大场景用 1.1-Plus，还给出了实测和网友案例。
Identity-GRPO：阿里开源多人物定制化视频生成的后训练优化算法
阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集，基于Qwen2.5VL设计奖励模型，多项策略增强训练稳定性，实验验证性能提升显著。
9B 模型“平替”GPT-4o ？！面壁赌对OpenClaw端侧AI，内部上演一人月产65万行代码的效率核爆
2023年面壁智能转攻端侧大模型，起初遭质疑，后获市场认可。今年发布开源全模态模型MiniCPM - o 4.5，年中还将推AI硬件松果派。其内部有“一人公司”趋势，对未来端侧智能发展有清晰判断。
琶洲模方亮剑：第四届琶洲算法大赛大模型前沿技术分论坛暨琶洲模方孵化项目展示圆满举办 | 甲子光年
9月23日，「第四届琶洲算法大赛大模型前沿技术分论坛暨琶洲模方孵化项目展示」举办。活动汇聚各界精英，展示琶洲AI产业化成果。清智·琶洲模方首批孵化成果亮相，还有主题演讲、签约仪式等，最后AI问辩将气氛推向高潮。
突发！卡帕西宣布入职Anthropic
大神Karpathy宣布加入Anthropic，重回一线大厂。他曾多次在AI领域转换角色，此次将加入预训练团队，开展用Claude加速自身预训练研究。外界揣测其离开OpenAI原因，加入Anthropic能为研究提供更多资源。