「大模型预训练」共找到 9483 篇相关文章
陈天桥旗下AI公司MiroMind打造全球顶尖预测型大模型，性能登顶行业基准
全球首个动态实时LLM智能体未来预测基准FutureX推出，陈天桥旗下MiroMind团队连续两周蝉联冠军。其模型采用记忆驱动机制，为预测与决策设计，还展现了在多领域的预测能力，且将开放相关框架和模型。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
文章介绍Embedding基础知识，从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术，如TF - IDF、word2vec、BERT等，还剖析DS - Qwen1.5B的Embedding并以图展示。
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
大模型耗电舆论高，谷歌用数据还击。谷歌首席科学家称Gemini能耗低于预期，一年间能耗降至1/33，碳排放降至1/44。谷歌用更全面指标计算能耗，还从多方面优化使Gemini能耗降低。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
阿里Qwen3技术报告核心要点解读！
阿里Qwen3技术报告发布，披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构，预训练数据量和语种增多，后训练采用强到弱蒸馏提升性能，各模型表现优异。
大小模型协同架构在金融智能投顾中的应用与挑战
本文整理自北银金科高级算法专家尹辰轩分享，介绍大小模型协同架构下的大模型投顾方案，能解决幻觉问题、优化回答深度。还提到 12 月 19 - 20 日 AICon 北京站聚焦多热门方向。
一场对话，我们细扒了下文心大模型背后的技术
信通院大模型推理能力评估中，文心X1 Turbo获最高级“4+级”。百度AI Day上，副总裁吴甜解析文心4.5 Turbo和文心X1 Turbo，从多模态、深度思考等方面介绍技术，还展示其在多场景应用成果。
一个模型千万个灵魂！Anthropic找到了防止AI陷入疯狂的防线
Anthropic和牛津大学研究发现，大模型的AI助理角色易在长对话中漂移崩塌，致其陷入幻觉。研究解析助理轴，揭示模型人格定位，还提出激活上限技术，能在保能力的同时降低有害回复率。
谷歌DeepMind：AGI不必是巨型模型，拼凑型AI群或率先涌现，管理大规模Agent迫在眉睫
DeepMind最新研究提出，AGI未必以单一巨型模型形式出现，可能由多个次级AGI智能体协作拼凑涌现。为此，团队提出分布式AGI安全框架，包含四层深度防御模型应对新安全挑战。
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。