搜索：大模型预训练

「大模型预训练」共找到 9494 篇相关文章

杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA

172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。

智源大会堪称“AI春晚”，规格高看点多。4位图灵奖得主分享观点，长跑冠军天工和拳击冠军宇树G1机器人秀技能。大会还发布“悟界”系列大模型，RoboOS 2.0与RoboBrain 2.0开源，多方探讨下一代AI发展路径。

近期，OpenAI 携多款未公开新模型亮相。在 IMO 竞赛中，其宣称新模型获金牌，谷歌 DeepMind 的 Gemini Deep Think 也达金牌水平，但网友对二者评价不一。此外，‘o3 Alpha’疑上线，前 OpenAI 员工还在编程赛中击败 OpenAI 模型。

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。

今天，阿里巴巴AI总称和核心品牌统一为千问，涵盖基础与专业领域模型，千问APP是C端旗舰应用。今年除夕开源千问3.5，多款中小型模型上榜，春节用户下单近2亿次，DAU大增成国民级助手。

在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。

文章分享两个大模型API省钱技巧。一是文本转截图，适用于输入长输出短、费用花在输入token的任务；二是音频加速识别，OpenAI语音识别模型Whisper按音频时长收费，加速音频可省钱，还可包装成API服务盈利。

谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。