「自监督训练」共找到 3085 篇相关文章
对话 Ruby on Rails 之父:发自内心恨透 Copilot,手凿代码才是程序员的乐趣
传奇程序员 DHH 做客播客,深入探讨世界观。他虽用 AI 学习,但担忧 AI 编程助手致技能退化,‘恨透’它。还谈及编程经历、语言看法、架构偏好、商业哲学等,观点鲜明,引发关注。
揭示隐藏联系:RLHF/DPO即对比学习!
大型语言模型输出符合人类价值观是挑战,主流技术RLHF复杂、昂贵且不稳定,DPO简化流程但有训练崩溃问题。论文揭示RLHF/DPO即对比学习,提出MIO算法解决DPO崩溃,实验验证其性能优势。
好玩!AI“穿越”新玩法火了:根据12岁照片生成23岁的你
AI“穿越”新玩法火了,外国网友让ChatGPT根据12岁照片推测23岁样子还挺准。很多人参与,还有新奇玩法。作者用不同名人照片测试ChatGPT、抖音小程序和豆包,结果各有偏差,但玩法有趣。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
更多thinking≠更好结果,精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦,论文发现其在简单题目上过度推理。作者提出‘无效思考’概念,还给出解决原则,用LC - R1方法训练,效果显著,揭示精准思考才是王道。
GitLab 18.0 发布,引入 AI 编码助手
GitLab发布自托管DevSecOps平台18.0版本,为Premium和Ultimate档引入更多AI功能,如代码建议、智能聊天、自动代码分析等,还在性能、安全、管理等方面有改进,部分用户升级遇问题。
Meta联合Google新作:语言模型到底“记”了多少东西?
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量,发现模型记忆有上限且与参数线性相关,还揭示学习转折、隐私规律等重要结论。
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍
大语言模型领域,推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力,但开源扩散LLM推理慢。近日,NVIDIA等推出Fast - dLLM,无需训练即插即用,推理速度狂飙27.6倍,兼顾速度与精度。
爆火论文颠覆RL认知!「错误奖励」让LLM推理暴涨24.6%,学界惊了
最新爆火论文颠覆传统RL训练认知,华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验,发现其对Qwen模型有效,但并非对所有模型都有效。
大模型微调知识与实践分享
文章详细介绍大型语言模型(LLM)微调知识与实践,包括模型结构、参数量等知识,以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程,介绍相关平台和框架,如星云、TuningFactory等。