「Transformer层」共找到 535 篇相关文章
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
8个月营收提高4倍，n8n如何成为AI Agent最受欢迎的搭建平台？
n8n由前《加勒比海盗》视觉设计师创立，从工作流自动化工具升级为AI应用编排层。8个月营收提4倍，正进行超1亿美元融资。它能与AI无缝集成，有活跃社区，在多场景应用广泛，不过用户多为技术人员。
亚马逊码农噩梦来袭！沦落「仓库工人」，每天流水线分拣「AI代码」
AI工具广泛引入亚马逊编程工作，虽提升效率，但让程序员工作节奏变快，像流水线工人。亚马逊管理层推崇AI，认为能降成本提效率，可程序员担心创造力被扼杀、职业发展受影响。此外，实验显示AI编码助手能提升开发人员效率。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
先进封装补完计划
2024年美国众议院点名批评美资对盛合晶微投资，后将先进封装列为投资禁区。盛合晶微由中芯国际和长电科技合资成立，攻克硅中介层难题。AI芯片变大使台积电产能紧张，盛合晶微为国产芯片提供新选择。
打破碎片化瓶颈！浙大&哈佛开源UniGeo，高保真相机可控编辑
当前主流相机可控图像编辑基于图像扩散模型，应对连续相机运动易出现问题。近日，浙大联合哈佛发布UniGeo框架，在三核心层面注入统一几何引导，克服结构退化，提升视觉质量与跨视角一致性。
AI 行业最新的 18 个前沿认知
文章整理了火山引擎AI领航者计划活动中，大厂、投资人和创业者对AI行业的18条前沿认知，涵盖模型层、应用层和产业层，如强化学习成竞争焦点、视频生成将崛起等，展现2026年行业新趋势。
10亿国民App丝滑升级AI应用！高德携手通义重构的底层架构曝光
高德用AI重构底层技术栈，建立主 - 从Agent架构，将千问大模型与空间智能结合。新架构分Agent层、模型层和工具层，还依托生态数据和通信协议。这让高德从工具变智能体，为行业转型提供范式。
估值 20 亿美元的语音输入法，开源平替已经 3 万 star
文章指出语音输入随着 AI 发展价值重估，介绍了开源工具 OpenLess，分析了商业订阅、开源桌面工具、大厂输入法三类玩家，给出四层评估框架，也提及开源风险，并对不同需求给出选择建议。