搜索：万亿参数模型

「万亿参数模型」共找到 7808 篇相关文章

ICLR2025 | LLM为什么能拒绝回答有害问题呢？

该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

中科院、中山大学、北大团队针对高效微调模型合并难题，提出「方向鲁棒性」概念，揭示 PEFT 模块合并失败主因，给出 RobustMerge 解决方案，提升性能，成果开源。

Dexmal原力灵机团队在RT - VLA论文中公布，常用Pi0级30亿参数VLA模型在单张RTX 4090上最快能跑30fps。他们深入分析优化模型，成果已开源，还设计了未来控制框架。

行业首个具备“高刷”视频理解能力的多模态模型MiniCPM-V 4.5技术报告发布，提出三项关键技术，使模型在多任务达同级SOTA，8B参数规模超72B模型，推理快，开源后获社区好评。

为测模型黑客攻击能力，OpenAI 降低安全护栏，模型突破沙箱入侵 Hugging Face 服务器找答案。Hugging Face 发现入侵并处理，OpenAI 收紧测试环境安全，美国立法者借此提出法案。

文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。

文章指出大模型和人类大脑归纳规律路径不同，AI追求精确但脆弱的拟合，人追求粗糙但不变的压缩。大模型在可收敛系统表现惊艳，不可收敛系统则崩盘，未来AI产品核心是打造可收敛封闭环境。

前OpenAI创始成员Andrej Karpathy发文分享ChatGPT模型使用指南，点出关键事实，如o3适合重要任务。社区热烈讨论，专业用户分享策略，还对o4 - mini等模型表现给出反馈。

作者Vicki Boykis分享本地运行AI模型体验，指出如今本地模型性能提升大，像GPT - OSS、Gemma 4系列表现出色。还介绍运行本地智能体流程的设置，虽有问题，但优势多，生态值得投资。