架构对比」共找到 2234 篇相关文章

新闻资讯7

线性注意力回归!Kimi新模型引爆,MiniMax却悄悄换回传统架构

LLM领域线性注意力机制正在回归,工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可,今年下半年多个国产模型采用其变体,MiniMax却又换回传统架构,Kimi新模型带来新解法。

AI寒武纪
新闻资讯7

个人开发者训400亿参数大模型:分布式算力,DeepSeek架构,3090单卡部署

Nous Research推出Psyche Network,可整合全球算力训练AI。它基于Deepseek的V3 MLA架构,有DisTrO优化器等技术,能让个人和小团体创建大规模模型,还实现40B参数LLM预训练。

量子位
产品应用7

从需求到研发全自动:如何基于Multi-Agent架构打造AI前端工程师

本文介绍蚂蚁消金前端团队打造的Multi - Agent智能体平台“天工万象”。阐述其技术实践,对比多Agent与统一型Agent、ReAct范式与固定工作流优劣,还介绍专业智能体建设,分享开发中的思考与经验。

阿里云开发者
推荐文章7

当代码遇上大模型:智能编程助手的架构设计与工程实践

在 InfoQ 举办的 QCon 全球软件开发大会上,字节跳动段潇涵介绍如何基于大语言模型构建智能编程助手。他分享实践经验,剖析研发痛点,介绍技术架构,还探讨未来发展方向,如认知增强、工具整合等。

InfoQ
新闻资讯7

7年了,OpenAI官方给出五代GPT对比,网友却怀念起「狂野」初代

OpenAI总裁分享给定相同提示下,GPT-1到GPT-5输出的差异,对比显示GPT系列在知识储备等方面不断进步,但网友看法不一,不少人怀念初代模型的‘狂野’。

机器之心
算法论文8

浙大提出Translution:统一Self-attention和Convolution,ViT、GPT架构迎来新一轮性能突破

近日,浙大与新加坡国立大学提出新型深度神经网络基础操作Translution,融合Self - Attention与Convolution优势,实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升,但对算力要求更高。

AI科技大本营
新闻资讯7

你要做旁观者,还是定义者?中关村两院全球寻找「AI时代架构师」

中关村两院(北京中关村学院与中关村人工智能研究院)一体两院、融合发展,现全球招募AI时代架构师,包括领军人才、青年科学家、应届博士/博后等,介绍了招聘方向及优厚待遇,还将召开人才闭门交流会。

机器之心
新闻资讯8

奥特曼宣判Transformer死刑! AGI两年内降临,下一代架构已在路上

奥特曼在访谈中表示未来将有全新底层架构取代Transformer,还称AGI两年内降临,编程智能体是下一个引爆点。他回忆OpenAI草创期,还给出诸多判断,“后Transformer”竞赛也已打响。

新智元
算法论文7

不平衡数据下对比学习的理论分析:从训练动态到剪枝解决方案

本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战,此前研究未考虑其影响。本文构建理论框架刻画训练动态,定量分析少数特征影响,提出剪枝算法增强少数特征学习,实验验证其有效性。

机器之心
新闻资讯7

13人干翻Transformer!新架构SSA算力暴减千倍,成本仅Opus 5%

一款基于SSA架构的AI模型SubQ横空出世,其上下文高达1200万Token,计算量比Transformer暴减1000倍,成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人,产品发布后引发AI社区不同反应。

新智元