「类LLM机制」共找到 1976 篇相关文章
AI安全上,开源仍胜闭源,Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B,其对提示词注入攻击鲁棒性超闭源方案,还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法,该模型打破闭源垄断,开源代码助力安全AI建设。
「0污染」LLM理解基准来了!20000道题14个学科全覆盖,来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试,含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露,保证评估结果可靠,已在Huggingface开放。
吴恩达推出LLM 后训练免费课程,覆盖三大调优方法:SFT、DPO、RL
吴恩达发布「Post-training of LLMs」课程,由Banghua Zhu主讲,瞄准实用技术,重点介绍SFT、DPO、RL三种后训练方法,有大量动手实验,课程发布后引发热烈讨论。
真实科研水平集体不及格!全新基准SFE给主流多模态LLM来了波暴击
上海人工智能实验室AI4S团队推出SFE评测基准,首创三级评估体系,涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战,不同模型、学科表现有差异,还构建了SciPrismaX平台推动AI科学评估生态发展。
中学生就能看懂:从零开始理解LLM内部原理【十】| “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开,介绍了过拟合的概念、危害及产生原因,阐述了缓解过拟合的正则化方法,重点介绍了Dropout随机失活,还指出其局限性及在大模型中的应用策略。
开源AI开发生态大洗牌:低代码平台逆袭,传统LLM框架日渐式微
第十届527蚂蚁技术日,蚂蚁对现有开源生态全面剖析,发布2025大模型开源生态全景图。分析显示开源生态有三个主导技术赛道,还总结出七大趋势,为从业者提供生态演进规律参考。
中学生就能看懂:从零开始理解LLM内部原理【八】| 什么是残差连接?
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接,指出传统多层模型有网络退化和梯度传导困难问题,而残差连接能缓解,还说明了其工作原理和可行性。
Anthropic揭秘Agent长线开发架构:引入GAN机制,Claude自主撸出全栈应用
Anthropic公开前端设计和自主软件工程最新突破,为让Claude构建完整应用,从GAN汲取灵感设计多智能体协同架构。介绍架构实践、解决的问题及应用效果,还探讨架构简化和设计规律。
多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。
GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称,GPT-5类似o3.1。他详解模型推理过程,强调RL+预训练是AGI正道,肯定DeepSeek的GRPO算法,还分享自身经历及OpenAI工作结构。