「GPT - 8」共找到 1516 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。
Greg Brockman(OpenAI 联合创始人)把“那场宫斗”讲完整了:董事会、请愿书、马斯克与控制权
OpenAI联合创始人Greg Brockman做客播客,讲述公司“宫斗”内幕、与马斯克谈判细节等。还谈及模型能力、算力瓶颈、AI应用等,如GPT 5.1到5.2有质的飞跃,算力将成基本人权,AI推翻物理假设。
斯坦福英伟达推出测试时强化学习:微调开源模型胜过顶级闭源模型,仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法,基于开源模型gpt - oss - 120b,在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制,解决分布外问题,成本低且表现优,但目前适用于连续奖励场景。
账上仍有30亿元现金,王小川不下牌桌|甲子光年
1月13日百川智能开源新一代医疗大模型Baichuan - M3,在医疗AI评测中夺冠,超越GPT - 5.2。王小川带领百川转型AI医疗,虽面临挑战但账上有30亿现金,选择院外商业化,预计2027年考虑上市。
32个随机数字,1分钟推演地球未来15天丨谷歌DeepMind
谷歌DeepMind发布WeatherNext 2,运行速度比上一代快8倍,分辨率达小时级。其关键是新提出的FGN功能生成网络,通过输入32个随机数字生成多样天气情景,速度快且准确率高,虽有小瑕疵但实用。
20岁辍学生用AI帮人记笔记,半年做到500万用户,年入百万美元
Turbo AI是一款主打课堂场景的AI笔记应用,由两位20岁大学辍学生创立。过去半年用户从100万飙到500万且盈利,仅融资75万美元。它功能丰富,但也有被指是GPT套壳、价格贵等问题。
开源大模型SOTA又刷新!中国MiniMax M2全球排名第五,开源榜一
中国AI独角兽MiniMax发布模型M2,刷新开源SOTA。它采用混合专家架构,平衡了智能、速度和成本。在多个权威测试中表现优异,价格仅为Claude 3.5 Sonnet的8%,还提供多种部署方式和限时免费服务。
3个硬核 GitHub 项目,让 AI 帮你赚钱!
nof1.ai网站举办“AI量化交易擂台”,让GPT - 4、Claude、DeepSeek等模型用1万美元本金在加密货币市场自动交易。目前DeepSeek排名第一,11天收益率超90%。文章介绍3个相关GitHub项目,可让AI在金融市场竞技、分析交易。
传统训练效率很低?我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰,提出新评估指标IG分数和“上下文去噪训练(CDT)”方法。实验表明CDT优于现有策略,经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
战火升级!奥特曼正式杀入脑机接口,这次不用切脑
近日,奥特曼邀专家加入脑机接口创业公司Merge Labs,计划以8.5亿美元估值融资。它将采用非侵入式技术,与马斯克Neuralink的开颅手术竞争,奥特曼曾投资Neuralink但不认同其侵入式做法。