「科学计算」共找到 948 篇相关文章
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开,探讨AI多方面问题。他坚信计算要素假说,认为RL与预训练有相似规模化现象;预计一两年编码达AGI,十年内信心90%;谈AI盈利、算力采购、应用扩散等,还提及机器人革命和AGI定价。
【博客转载】CUDA Reduction
文章来自Lei Mao,介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性,接着实现两个批量归约求和kernel,还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
跨机器、物体与各种任务!RoboScience发布通用具身大模型
RoboScience机器科学发布Visics通用具身大模型并披露VLOA技术架构。该模型从底层搭建全新具身基础表征单元,适配任意机器人、物体和任务。其由具身世界模型和通用操作模型组成,有强大泛化和操作能力。
让世界模型推理效率提升70倍:上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5,针对视频生成构建可交互“世界模型”的核心难题,提出时空信道联合建模(TSCM),实现近似恒定计算成本的全局记忆访问,展示了世界模型工程化落地的可行路径。
7.5K Star!HKUDS开源AI全栈开发框架,产品经理的Demo神器!
AI时代从论文到产品Demo开发全链路工作耗时费力,现有Agent也有诸多问题。香港大学数据科学实验室(HKUDS)开发的DeepCode开源框架,定位“全自动AI软件开发框架”,可一键从论文/需求生成完整项目,已获7.5K Star。
纯CPU“踢开”GPU,中国超算九年后再登顶!
6月23日,国家超级计算深圳中心“灵晟”超算以2.19EFlops性能登顶全球超算TOP500榜单,这是世界首台超2EFlops的超算系统。它基于“灵鲲”平台,采用纯CPU设计,展现我国超算全栈自主可控能力。
比起让大模型写 100 万字的小说,AI 大牛们更想用 AI 拿诺贝尔奖
OpenAI前CPO Kevin Weil创业,新公司定位是“为AI模型收集科学数据”的平台,估值达7.5亿美元。AI4S赛道成为硅谷离职AI高管热门去向,正从概念叙事进入基础设施建设阶段,包括数据、模型、应用层。
AI科学家登场!12小时抵人类科学家半年工作量,已有7项大成果
OpenAI CEO奥特曼期待GPT - 6实现「AI创造新科学」,类「AI科学家」Kosmos登场。它12小时完成人类半年工作量,有7项成果,能自主规划,从工具迈向合作者,但约20%结论需人类裁判,人机协作或重塑科研。