搜索：视觉语言预训练

「视觉语言预训练」共找到 3315 篇相关文章

清华团队开源发布首个结构化数据通用大模型

2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。

英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。

随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。

Physical Intelligence 核心技术团队解读机器人技术路径，分享前沿探索。介绍 VLA 与 VLM、LLM 关系，还提及 PI 构建数据管线、提出“知识绝缘”机制，分析开放世界部署难题，展望未来“机器人模型即服务”。

AI应用渗透使算力需求结构重塑，传统芯片技术升级遇阻，先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新，分析其对算力需求的影响，指出高性能算力芯需求仍高，先进封装能释放芯片性能，国产有望突破。

星海图在2025WRC展示G0模型，可让机器人自主完成铺床任务。其发布端到端双系统全身智能VLA模型G0，结合真机数据集与架构，还构建开放数据集，评测结果优于π0模型，即将开源。

作者花一周看完Lex Fridman对丹麦传奇程序员DHH的6小时访谈。DHH分享编程经历，谈对流行技术看法，认为AI不能取代人类创造力，还谈及创业、开源等观点，展现深刻认知与独特态度。

Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。

传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。