计算规模」共找到 1093 篇相关文章

算法论文8

DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO

论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。

深度学习自然语言处理
推荐文章7

一起聊聊Nvidia Blackwell新特性之低比特GEMM

本文是NVIDIA Blackwell架构GEMM研究系列文章第三部分,介绍低精度计算,探讨Blackwell GEMM如何执行,关注6位和4位格式及对内存布局影响。还提及低精度优势、数据格式、UMMA实现、操作限制、CUTLASS抽象方式等。

GiantPandaLLM
算法论文7

手机上实现AI视频实时生成,DiT模型上移动端

扩散变换器在视频生成任务性能强,但计算成本高,在手机上难实用。Snap提出创新优化法,加速视频生成,能在iPhone 16 Pro Max上每秒超10帧,不过也存在细节退化等局限。

带你学AI
推荐文章8

AI Coding 赛道,Solo 创业、6 个月 8000 万卖掉,独立开发的新传奇

Maor Shlomo开发全栈无代码平台Base44,6个月获25万用户后8000万美元卖掉。他复盘了从搭建到推广的全流程,分享产品切入点、与AI协作、渠道增长等经验,强调做喜欢之事,把握用户‘顿悟时刻’。

Founder Park
算法论文8

单向VLM变双向!人大斯坦福等提出MoCa框架:双向多模态编码器

人大、斯坦福等机构提出MoCa框架,将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调,解决传统模型局限,在多模态基准测试中表现优异,尤其小规模模型性能突出。

新智元
新闻资讯7

台积电CoWoS的接班人:CoPoS

台积电将CoPoS定位为CoWoS下一代接班人,计划取代CoWoS - L。它用面板尺寸基板替换硅中介层,突破现有技术限制。目前已启动试点线验证,预计2027年小规模生产,或成高端芯片封装主流。

芯师爷
推荐文章8

揭秘千卡 GPU 集群如何高效训练多模态大模型:vivo AI 团队实战经验分享|AICon

在 InfoQ 举办的 AICon 大会上,vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战,从数据处理、模型计算等方面提出优化策略,还展望 AI Infra 未来发展方向。

AI前线
新闻资讯7

一文读懂:国产AI芯片与英伟达的差距有多大?

文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距,指出国产芯片虽在部分场景缩小差距,但高端训练和生态成熟度仍落后3 - 5年,突围需多领域突破。

芯师爷
推荐文章8

微软CPO专访:Prompt是AI时代的PRD,产品经理的工作方式已经彻底变了

微软首席产品官 Aparna 认为,Prompt 正取代传统 PRD 成构建产品起点,NLX 将成新用户体验设计范式,还解释了 Agent 核心特征。她觉得 Agent 本质是工具,未来可让其承担更多任务,产品经理关键在于「好品味」和「编辑能力」。

Founder Park
算法论文8

博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!

近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。

AI前线