「token权重」共找到 806 篇相关文章
北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!
北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。
近期,不错的LLM Agent统一记忆框架综述~
随着GPT、Qwen、Claude等大模型能力提升,LLM-based Agent走向长期任务。论文提出统一框架拆解Agent Memory为四组件,围绕两个数据集复现比较10个方法,还设计出新的低token开销框架。
马斯克:AI巨浪已至,吸干全球救命钱!
马斯克警告AI激流已至,过去一年全球AI推理Token用量暴增25倍。ARK首席未来学家指出AI基础设施投资回报高,引发资本转移与挤出效应,传统企业融资难、人才流失,将被AI“吸干”资本。
Z-Image标准版开源:更具可塑性的图像生成全能基座
Z-Image标准版开源,它是为开发者准备的强大画板,解决了生成模型同质化问题。其保留完整权重,在微调、风格化上潜力大,采用创新架构,训练定位SFT阶段,有完整CFG支持,还提供完善工具链。
这个项目专治建模手残党,给张图就能转变可编辑能转动的3D模型
img2threejs上线11天获4.8k Star,专治建模手残党。给它一张图,它让AI写代码把物体“搭”出来,不重建几何,也不下素材包,还省Token、零依赖,有严格质量门控。
Paddle OCR走到了尽头,Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA,模型只记128个token,能一次性读完40页文档。相比DeepSeek OCR,它在精度、速度上表现更优,训练成本低,适用范围广。
挺搞笑,MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」,不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题,使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常,问题不会随参数规模增大消失。
华为诺亚发布ScaleNet:模型放大通用新范式
华为诺亚方舟实验室等团队提出 ScaleNet 方法,创新性地用少量额外参数量将模型深度扩展一倍。结合层级权重共享和轻量级适配器技术,在视觉和语言任务上验证了有效性,提升了模型性能。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt(7700+ star),把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制,还有SkillOpt - Sleep预览功能,让Skill文档可系统化训练。
太初元碁洪源:异构计算能力将成为未来AI算力基础设施的重要方向|AIGC2026
2026年AI产业进入高强度算力周期,Token成核心资源消耗单位。太初元碁洪源认为,AI算力需更好支撑应用,异构计算将成未来AI算力基建重要方向,太初元碁也在多方面探索实践。