搜索：大语言模型 - AI Reading Hub

「大语言模型」共找到 9286 篇相关文章

大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南

Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。

大模型后训练越发关键，GRPO 有缺陷。作业帮与香港科技大学（广州）团队在 NeurIPS 2025 提出 GVPO 方法，解决 GRPO 稳定性难题，理论有最优解保证，实验表现超现有方法。

今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。

本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。

近日，微博发布自研开源大模型VibeThinker，15亿参数却在数学测试上击败6710亿参数的DeepSeek R1，后训练成本仅7800美元。其为AI产业带来新思考，还将推动微博AI应用发展。

多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。

国内大模型发展迅速，腾讯此前动作较慢。姚顺雨加入后推动变革，混元团队重建推出Hy3 preview，有295B总参数和快慢思考融合架构，开源且性能优，在多方面表现出色，成本下降。

大模型参数量飙升却陷入‘规模越大，效率越低’困境，中科院自动化所研究团队提出统一框架，直击MoE底层运作模式，让专家‘组队学习’，实现参数量、负载方差降低，达成三重优化。