「权重重建」共找到 303 篇相关文章
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
Sam Altman：美国严重低估中国AI实力，OpenAI开源因为DeepSeek
OpenAI联合创始人Sam Altman警告美国可能低估中国AI进展，出口管制难限中国发展。他称中国在多层面有进展，美国政策难跟上技术现实。此外，中国开源模型如DeepSeek促使OpenAI发布开放权重模型。
腾讯大模型动作慢了吗？姚顺雨带着Hy3 preview杀进第一梯队
国内大模型发展迅速，腾讯此前动作较慢。姚顺雨加入后推动变革，混元团队重建推出Hy3 preview，有295B总参数和快慢思考融合架构，开源且性能优，在多方面表现出色，成本下降。
AGICamp 第 001 周 AI 应用榜发布：DeepPath、AI 好记、Remio 等上榜
2025年6月27日AGICamp在AICon大会发布第001周AI应用榜，上线14个应用。其暂不推日榜，周二发周榜，评论权重高于点赞。还介绍多个上榜应用，鼓励开发者参与，修复Bug并同步进展。
上科大何旭明团队新作：克服简单样本偏置，让多模态模型学会「难题优先」
上海科技大学何旭明团队针对多模态模型幻觉问题，提出DA-DPO框架。该方法不依赖额外人工标注，通过动态调整样本权重，缓解简单样本偏置，在降低幻觉率同时提升综合能力，具成本效益。
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
Mistral 3开源，一举超越DeepSeek与K2？
近期，Mistral AI开源Mistral 3，含三款小型稠密模型及Mistral Large 3。Benchmark对比中，它领先国内DeepSeek - 3.1、Kimi - K2。Mistral Large 3是强开源权重模型，Ministral 3适合边缘端，成本性能比低。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
Z-Image标准版开源：更具可塑性的图像生成全能基座
Z-Image标准版开源，它是为开发者准备的强大画板，解决了生成模型同质化问题。其保留完整权重，在微调、风格化上潜力大，采用创新架构，训练定位SFT阶段，有完整CFG支持，还提供完善工具链。