算力效率」共找到 1917 篇相关文章

产品应用8

微软深夜发布SambaY架构,Phi-4min加速10倍推理

微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型,扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行速度比前代快10倍,有诸多优点。

CourseAI
推荐文章7

太多人误解了「苦涩的教训」

《“苦涩的教训”》一文常被误解,其核心观点是能充分利用计算资源扩展的方法会超越不能扩展的方法。人类知识短期易获好结果,但长远看,唯有随算力增长的方法最终胜出,如深蓝、AlphaGo Zero的案例。

宝玉AI
开源动态8

2K+ star!这款分分钟搭建 AI 知识库的项目,真的绝了!

GitHub上爆火的开源项目PandaWiki,两周揽2K star,是AI大模型驱动的知识库搭建系统。它将AI能力深度融入全流程,有强大富文本编辑等特色,还能灵活部署,适合中小团队和个人开发者。

开源先锋
开源动态8

如何选择最佳多模态大模型压缩方案?哈工大、度小满开源EFFIVLM-BENCH基准测试框架

金融科技智能化转型中,LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架,能为多模态大模型压缩方案出具‘体检报告’,还揭示LVLM加速复杂性,推动技术发展。

机器之心
新闻资讯7

PCB越卖越贵,黑马市值暴涨逆袭

印刷电路板(PCB)是电子设备组装基础,受益于下游产业升级。AI服务器等成需求增长动能,相关企业营收利润提升。如胜宏科技成英伟达GB200服务器PCB核心供应商,业绩亮眼,技术优势支撑订单增长。

芯师爷
开源动态8

MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding

文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。

GiantPandaLLM
开源动态8

13.8K star!!6G显存就能跑的AI视频神器,支持1分钟生成,这么6?!

现在AI视频生成领域仍面临高算力需求挑战,斯坦福大学研究团队推出`FramePack`项目,降低了本地AI视频创作硬件门槛,有低硬件需求、高效生成速度等特色,操作也简单。

开源先锋
推荐文章7

为什么伟大的 AI 产品不能被计划?

Anthropic的CPO Mike Krieger分享构建AI产品经验与哲学。他认为未来多数内容将由AI生成,判断重点在来源与可信性;伟大AI产品多自下而上生长,如MCP协议;还谈到AI应用面临易用性等问题。

特工宇宙
算法论文8

让AI学着“看菜下碟”!港中大等新框架让推理长度减少90%,准确率反增17%

香港中文大学等研究者提出TON选择性推理框架,使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制,实验显示其让推理长度最多减90%,准确率还提升,有益模型部署。

量子位
算法论文8

一个省略号提示+强化学习搞定大模型“过度思考”,中科院自动化所新方法:从强制推理到自主选择

中国科学院自动化研究所联合鹏城实验室提出AutoThink方法,用省略号提示和多阶段强化学习,让推理大模型依题目难度自主切换思考模式,解决过度思考问题,在多数据集验证有效。

量子位