「架构参数」共找到 2381 篇相关文章
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
一文看懂华为昇腾芯片
文章介绍华为昇腾芯片，它是面向高性能AI计算的NPU芯片，有昇腾310、910、610等系列。还提及芯片演进、参数、价格、出货量等情况，以及基于芯片的硬件体系，覆盖多场景满足不同需求。
告别卡脖子，华为黑科技破局！昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
红杉AI峰会闭门6小时，150位创始人共识浮现：AI不再卖工具，而是卖收益
第三届红杉资本AI峰会落幕，150位全球顶尖AI创始人齐聚。会议指出AI正从卖工具转向卖收益，还探讨了操作系统之战、智能体经济等话题，给出面向未来三年的定位图等，提醒从业者转变观念。
7名博士生仅用3个月从零训练7B大模型：代码+数据+训练日志全公开
北京中关村学院7名跨专业博士生，耗时3个月从零训练出7B参数大模型ZGCM-1，采用数百个Agent协作实践AI4AI研发范式，全程公开代码、数据、权重、训练日志，分享一线实战经验。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
又一位xAI联创宣布创业，押注开源模型和个人AI，融资11亿美元
8月11日，xAI联合创始人伊戈尔·巴布什金创办的River AI完成11亿美元融资。该公司6月成立，团队约20人，刚公开首个产品River API。巴布什金想让企业和个人拥有自己的AI，目前先从企业需求切入。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。