「激活裁剪」共找到 103 篇相关文章
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
OpenAI 发布公司领导者 AI 行动指南，助力企业发展
OpenAI 2024 年走访超 200 家营收 10 亿美元企业，发现拖慢 AI 落地的是‘领导层叙事缺口’。结合客户实践，总结出对齐、激活、放大、加速、治理 5 个可落地步骤，助企业构建以 AI 为核心的组织。
0.25秒识破未见攻击，这套检测方法没看过任何越狱样本 | EMNLP'26
大视觉语言模型带来隐蔽攻击面，现有检测器难平衡。中国人民大学与阿里巴巴集团联合提出Learning to Detect（LoD），不依赖攻击样本和手工规则，从模型内部激活学安全模式，实验效果好且代码开源。
ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
快手Klear团队提出CE-GPPO：通过梯度保留协调熵，解决强化学习中的熵不稳定问题
快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO，以「熵」为核心，提出梯度保留策略，重新利用裁剪外区间低概率 token 的梯度，实现策略熵的精细调控，解决强化学习中熵不稳定问题。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
Data Agent如何帮助企业打造懂你的“电子牛马”？｜数势xSelectDB
本文邀请数势科技谭李和飞轮科技肖康探讨数据Agent。谈到懂业务的Agent特点、与传统BI差异，还提及数据库挑战及应用场景，指出Agent能激活数据、提升交互效率，未来将催生新角色。
腾讯混元推出首款开源混合推理模型：擅长Agent工具调用和长文理解
6月27日，腾讯混元开源首个混合推理MoE模型Hunyuan - A13B，参数80B激活仅13B，推理快性价比高。它在多测试集成绩好，尤其擅长Agent工具调用和长文理解，还开源两数据集填补评估空白。