「参数压缩 - 覆盖假说」共找到 1208 篇相关文章
Thinking Machines又发高质量博客:力推LoRA,不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近,大数据量稍吃力,强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
Anthropic最新博客:MCP没有死,我们又救活了。
2个月前Eric Holmes认为MCP已死,因其有Token成本等问题且LLM本就会用命令行。但本周Anthropic发博客称想清MCP定位,它不是替代CLI,而是覆盖其到不了的地方,还给出改进方案,MCP月下载超3亿次。
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
刚刚,马斯克开源Grok 2.5:中国公司才是xAI最大对手
马斯克主导xAI正式开源Grok 2.5,Grok 3将半年后开源。Grok可在HuggingFace下载,运行有条件。虽Grok 2曾有不错表现,但网友对其参数权重、开源协议等有诟病。此外,还更新APP视频生成功能,马斯克称中国公司是xAI最大对手。
AI大模型开发核心技术栈:从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱,解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架;模型训练与微调有分布式训练、参数高效微调;推理优化含关键技术与主流框架;AI编程辅助工具分主流形态且有发展趋势。
从傅盛的龙虾到汗青的加速主义,AIFUT大会Day1下午场总结都在这了。
AIFUT大会第一天下午场信息密度大。傅盛称龙虾是工具的AGI时刻;特效小哥008认为AI不替代人类但可能替代工作;辩论探讨教用AI能否教会;朱广翔说程序员岗位将减少,泛创造者会增加;李继刚指出人不可压缩的只剩体验;赵汗青探讨慢的东西如何存活。
ASO是什么意思?ASO目标与工作内容,ASO常见误区(基础篇)
ASO(应用商店优化)的精髓在于通过对产品特性的分析与用户群体标签的判断,挑选相关度高的关键词,提升App的覆盖、曝光、转化,从而获取更多用户。它不仅包括关键词搜索排名优化,还涉及榜单排名、转化率、推荐位等优化,提升App在应用商店的自然下载量。
NVIDIA技术沙龙《强化学习流水线优化:性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化,强调用Nsight Systems做性能分析,介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧,如Actor训练和Rollout优化,还以Qwen 2.5 7B等模型为例总结参数调优经验。
Qwen3.6-27B 开源:小小身材,超级码力
阿里云宣布开源 Qwen3.6-27B 多模态模型,支持多模态思考与非思考模式,在智能体编程方面超前代旗舰 Qwen3.5-397B-A17B。它已在 Qwen Studio 上线,开源权重可从 Hugging Face 和 ModelScope 下载,阿里云百炼 API 即将支持。
重磅!翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔(Lilian Weng)的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表,能帮少烧错钱。文章探讨大模型训练预算分配,分析Kaplan和Chinchilla结论差异及数据稀缺问题。