「3D-Resampler架构」共找到 3624 篇相关文章
马斯克Grok 4.1双冠封王,爆冲第一!AI王座一夜易主
马斯克携xAI推出Grok 4.1并免费开放。它在LMArena和EQ - Bench登顶,写作Elo提升600分、幻觉率降3倍。后训练RL规模扩大,还经盲测评估,在多方面表现出色。
这个框架让大模型省下50%内存,合并专家不如直接删掉?
Cerebras Research提出REAP框架,通过专家剪枝和合并技术压缩SMoE模型,能让模型‘瘦身’并保持性能,可省50%内存,但社区测试有不同结果,且存在调度开销等问题。
大模型开发者必读!拆解世界级AI模型的诞生,Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》,分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容,强调数据质量重要性,还介绍了模型设计、训练中的实践与教训。
阿里开源SmartResume,简历解析无需手工
阿里在Hugging Face和ModelScope上开源智能简历解析系统SmartResume,能将多种格式简历转为结构化数据,分三阶段工作,性能优于基线方法,为HR和开发者提供工具。
2025谷歌博士生奖学金揭晓,清华、科大、南大等校友入选
本周四,谷歌公布2025年度博士奖学金入围名单,获奖者来自35个国家和地区、12个研究领域,共255名博士生。文章介绍了各领域的华人研究者情况,涉及算法、架构、人机交互等多个方向。
用激光给芯片散热,摩尔定律天花板盖不住了
初创公司Maxwell Labs提出光子冷却法,可将芯片热量转化成光并去除。该方法基于反斯托克斯冷却原理,集成到薄膜芯片级光子冷板。相比传统散热,它效率更高,有望解决芯片散热难题,推动行业发展。
Apple发布新SOTA Manzano:混合Tokenizer破解多模态统一难题,理解与生成双翼齐飞
多模态AI前景广,但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型,用混合视觉标记器降低任务冲突,结构简单可扩展,在多基准测试达SoTA水平,还展示图像编辑潜力。
LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收
LeCun团队提出LLM - JEPA,将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性,在多模型和数据集验证有效,但有训练开销大、泛化性不足等局限。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS,能处理一千万token输入。它替代注意力层,训练后在长上下文任务中表现佳,但小模型,大规模表现未知。
KV-Cache 实战策略:生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中,KV - Cache 是平衡性能与成本的核心技术,但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术,结合原理、实践与案例,为开发者提供解决方案,还探讨了未来演进方向。