「架构问题」共找到 4639 篇相关文章
陶哲轩转发!华人数学博士后反超DeepMind AI,停滞18年数学问题1个月内3次突破
DeepMind的AlphaEvolve打破集合和差问题18年纪录,华人博士后Fan Zheng等数学家出手反击。人类用测度集中性少量辅计算机,1个月内该问题3次突破,陶哲轩称不同方法可互补推动数学进步。
Meta没做的,英伟达做了!全新架构吞吐量狂飙6倍,20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2,以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍,对标Qwen3 - 8B并在多任务中表现持平或更优,还开源模型及大部分预训练数据。
GPT-5问题太多,奥特曼带团回应一切,图表弄错是因「太累了」
GPT - 5发布后问题频出,在数学、逻辑、编码任务中失误不断,还出现低水准图表错误,引发吐槽质疑。OpenAI联合创始人Sam Altman等在Reddit AMA活动中回应问题,给出解决方案并分享未来规划。
谷歌T5Gemma重燃架构之战!「套壳」反杀Gemma本尊,9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导,Google双线出击。T5Gemma重燃encoder - decoder架构战火,性能提升显著;MedGemma坚守decoder - only路线,强攻医疗多模态,击穿闭源壁垒,打响开源反击战。
腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合
腾讯公开混元TurboS技术报告,该模型是超大型Hybrid Transformer - Mamba架构MoE模型,融合Mamba与Transformer架构优势,有自适应长短思维链机制,激活参数56B。在多评测中表现佳,推理成本低。
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。
大模型是否对问题难度有预判?最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针,定位负责难度感知的注意力头,还发现不同模型表现有差异。
还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。
训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享
具身智能创企鹿明机器人联席CTO丁琰,分享具身智能数据采集现状、困境及新兴采集方式UMI。他强调具身模型问题多源于数据采集,还介绍鹿明产品FastUMI Pro,及其数据采集、模型训练生态。
大模型听懂语音却反而变笨?港中深与微软联合解决语音大模型降智问题
从GPT - 4o开启全能交互时代后,Speech LLM面临“模态推理鸿沟”问题,输入从文本变语音,推理能力显著衰退。港中深与微软联合提出TARS框架,通过三项创新解决此问题,实验显示推理能力100%复原。