「计算规模」共找到 1093 篇相关文章
DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。
一起聊聊Nvidia Blackwell新特性之低比特GEMM
本文是NVIDIA Blackwell架构GEMM研究系列文章第三部分,介绍低精度计算,探讨Blackwell GEMM如何执行,关注6位和4位格式及对内存布局影响。还提及低精度优势、数据格式、UMMA实现、操作限制、CUTLASS抽象方式等。
手机上实现AI视频实时生成,DiT模型上移动端
扩散变换器在视频生成任务性能强,但计算成本高,在手机上难实用。Snap提出创新优化法,加速视频生成,能在iPhone 16 Pro Max上每秒超10帧,不过也存在细节退化等局限。
AI Coding 赛道,Solo 创业、6 个月 8000 万卖掉,独立开发的新传奇
Maor Shlomo开发全栈无代码平台Base44,6个月获25万用户后8000万美元卖掉。他复盘了从搭建到推广的全流程,分享产品切入点、与AI协作、渠道增长等经验,强调做喜欢之事,把握用户‘顿悟时刻’。
单向VLM变双向!人大斯坦福等提出MoCa框架:双向多模态编码器
人大、斯坦福等机构提出MoCa框架,将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调,解决传统模型局限,在多模态基准测试中表现优异,尤其小规模模型性能突出。
台积电CoWoS的接班人:CoPoS
台积电将CoPoS定位为CoWoS下一代接班人,计划取代CoWoS - L。它用面板尺寸基板替换硅中介层,突破现有技术限制。目前已启动试点线验证,预计2027年小规模生产,或成高端芯片封装主流。
揭秘千卡 GPU 集群如何高效训练多模态大模型:vivo AI 团队实战经验分享|AICon
在 InfoQ 举办的 AICon 大会上,vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战,从数据处理、模型计算等方面提出优化策略,还展望 AI Infra 未来发展方向。
一文读懂:国产AI芯片与英伟达的差距有多大?
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距,指出国产芯片虽在部分场景缩小差距,但高端训练和生态成熟度仍落后3 - 5年,突围需多领域突破。
微软CPO专访:Prompt是AI时代的PRD,产品经理的工作方式已经彻底变了
微软首席产品官 Aparna 认为,Prompt 正取代传统 PRD 成构建产品起点,NLX 将成新用户体验设计范式,还解释了 Agent 核心特征。她觉得 Agent 本质是工具,未来可让其承担更多任务,产品经理关键在于「好品味」和「编辑能力」。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。