「循环深度Transformer」共找到 1131 篇相关文章
英伟达斥资50亿美元入股英特尔
18日,英伟达与英特尔宣布深度合作,联合开发产品。英伟达将斥资50亿美元入股英特尔,双方以NVLink技术连接架构,合作聚焦数据中心和个人计算领域,旨在提升运行效率,填补产品空白。
Granola 为什么能赢:会议笔记,把产品做简单很重要
Granola是新推出一年多的AI笔记产品,迅速成硅谷创业者、投资人常用工具。其创始人认为,“AI笔记”头号竞争对手是苹果备忘录。产品好用关键在于极简“蜥蜴脑设计”与利用用户“上下文”,文中还分享设计思考与实用经验。
AI时代终端大变局
随着算法、芯片、场景深度融合,端侧AI计算成终端智能化核心引擎,重塑IoT终端应用场景智能体验。端侧AI芯片作为技术底座,正重塑终端产业格局,虽面临挑战,但未来前景广阔。
打脸OpenAI!谷歌Gemini高级版获IMO 2025官方认证金牌:纯自然语言端到端推理
谷歌DeepMind宣布高级版Gemini在2025年IMO中6题解5题获金牌,经官方认证,全程用自然语言推理。对比OpenAI自我宣称拿金牌,谷歌成绩更有说服力,还介绍了Gemini进步及实现方法。
Le Chat全方面对标ChatGPT,欧洲AI新贵穷追不舍
欧洲AI初创公司Mistral AI接连发布多个开源模型,还升级Le Chat,引入深度研究、语音等新功能,全方面对标ChatGPT。其语音识别模型Voxtral号称“全球最佳”,多方面超越竞品。
Meta为他豪掷2亿美元,上交校友庞若鸣,晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta,Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》,介绍了AXLearn系统优势、架构、实验评估等。
如何做到在手机上实时跑3D真人数字人?MNN-TaoAvatar开源了!
阿里巴巴淘宝Meta技术团队研发的TaoAvatar技术,能在手机或XR设备实现3D数字人实时渲染与AI对话。今日开源MNN - TaoAvatar应用,可在手机运行,对比主流方案更高效便捷,还介绍其优势、技术及使用说明。
ICML'25 | 告别手动SFT!一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难,Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配,有三种架构变体,采用两种训练方法,实验显示其在多维度表现有效。
时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8
在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。
中学生就能看懂:从零开始理解LLM内部原理【九】| 层归一化:神经网络的稳定器
本文是系列文章第九篇,介绍了神经网络中的层归一化。先回顾标准差、标准分概念,指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络,还加入可学习参数,最后总结其作用与应用位置。