「大模型架构」共找到 10017 篇相关文章
年营收5.5亿美元、美国Top 3的约会应用创始人:AI虚拟陪伴是「垃圾应用」
Hinge CEO Justin McLeod在访谈中分享经验。他认为AI虚拟伴侣是「垃圾应用」,Hinge以促成真实约会为核心指标,用AI实现个性化匹配和有效指导,还介绍组织架构、决策原则等内容。
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM,经分析发现多数场景Pingpong调度策略性能优于Cooperative,K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
政策“开闸”之后:我们该如何看待这波半导体IPO热潮?|甲子光年
近期国产半导体项目IPO速度加快,政策为产业打通资本血脉。本文以屹唐、摩尔、沐曦为例剖析热潮内核,指出企业有技术依赖、财务亏损等问题,IPO后还面临估值高、技术泡沫、地缘政治风险。
全球首款AI原生UGC游戏引擎诞生!输入文字秒建GTA世界,试玩体验来了
全球首个由实时世界模型驱动的AI原生游戏引擎Mirage问世,玩家能实时构思、生成并体验游戏世界。虽当前体验有不足,但它有显著优势,支持多元游戏类型,基于前沿技术构建。
Grok 4意外提前曝光,xAI巨额融资700亿,马斯克宣布“重写人类知识库”
xAI的Grok 4提前泄露,团队跳过Grok 3.5直接推出。它被定位为旗舰模型,有强大性能。马斯克欲用其重写人类知识库,但引发争议。xAI融资100亿,建超算中心面临电力问题。
如何让 AI 成为你的编程搭档?一次真实重构告诉你答案
文章介绍编程工具Cursor,它是基于VS Code、深度集成AI的智能代码编辑器,有多种模式,能力强但有局限。作者分享用其完成重构需求的过程、经验,还提及使用中踩坑及应对方案,最后总结提效成果。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
从后训练回到预训练,LLM+RL 的潜力兑现有有机会走更远吗?
RL与LLM结合是重要技术方向,应用从后训练延伸至预训练。虽看似为LLM+RL带来希望,但RL本身有局限。微软等提出的RPT有潜力,不过训练语料等未广泛验证,且需大量计算资源。
生成式视角重塑监督学习!标签不只是答案,更是学习指南 | ICML 2025
上海交大等机构团队在ICML 2025提出预测一致性学习(PCL),通过扩散过程消减标签信息,引入噪声标签,将标签学习分解为渐进式任务,实现标签信息复用。在多模态任务实验中,PCL表现优于传统监督学习。
砍掉70%内存!陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时,KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺,推出分块驱逐与PruLong训练技术,在128K长文本任务中最高降低70%内存,性能损失仅10%。