「LLM - JEPA」共找到 985 篇相关文章
LeCun离职前的吐槽太猛了
年底将离开Meta的LeCun在播客直言，不看好大语言模型通往AGI，也吐槽Meta封闭。他将创办开源公司AMI研究世界模型，认为其与LLM本质不同，还回顾AI学习史引出JEPA架构。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
LeCun亲自出镜打脸质疑者！憋了20年的AI世界模型，终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
见微知著：LLM 奖励建模的「Analytic Rubric」范式全面综述
该文是对LLM奖励建模的「Analytic Rubric」范式的全面综述。介绍了Rubric概念来源，指出传统奖励模型存在对齐风险，而Rubric RM在多方面取得平衡，还阐述其工作流、各维度研究情况及面临的挑战。