算法论文7
廖海旭团队:剪枝解对比学习数据不平衡难题
机器之心
AI 摘要
廖海旭团队:对比学习在不平衡数据下有挑战,构建理论框架分三阶段刻画训练动态,指出数据不平衡削弱表征性能,剪枝算法可增强少数特征学习,实验验证其提升准确率。
阅读原文 · 机器之心
不平衡数据下对比学习的理论分析:从训练动态到剪枝解决方案
本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战,此前研究未考虑其影响。本文构建理论框架刻画训练动态,定量分析少数特征影响,提出剪枝算法增强少数特征学习,实验验证其有效性。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程
推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
本文系统梳理神经网络激活函数的发展历程,从传统普通激活到门控激活,讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景,帮助入门者理解设计思路
AINLPer
推荐文章9
腾讯15年工程师转战大模型推理
本文是腾讯15年资深后台工程师吴银光的转型自述,分享了他从零切入大模型推理工程的抉择过程,给出了清晰的入门路径与自检方法,分析了AI Infra与传统Infra的异同,为有意转型AI的技术人提供了实用参考。
腾讯技术工程
新闻资讯7
OpenAI新Astra架构曝光,GPT - 6或今晚上线
OpenAI下一代Astra采用「循环深度」推理方法,思考Token减少但性能提升,不过其思考过程难监控。此前业界已对「循环Transformer」有研究,该架构适合数学编程任务,Astra实力获验证,GPT - 6或即将发布。
新智元