「自监督训练」共找到 3085 篇相关文章
ICML spotlight | 一种会「进化」的合成数据！无需上传隐私，也能生成高质量垂域数据
大模型发展使数据短缺问题加剧，特殊领域更严重。为此提出合成数据自主进化框架PCEvolve，只需少量标注样本，就能在保护隐私同时进化出数据集，还介绍了其架构、选择器设计及实验结果。
微软研究院BioEmu登上Science，用生成式AI重塑蛋白质功能研究
7月10日，微软研究院AI for Science团队在《Science》发表成果，提出生成式深度学习模型BioEmu，结合多类数据训练，能模拟蛋白构象变化，有多项核心创新，已开源，未来将拓展应用场景。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
个人音频转录与交互神器
Speakr是个人自托管网络应用，可转录音频、生成摘要和标题，还能通过聊天互动。支持音频上传、浏览器录音等功能，可选择不同转录方式，有简单和高级两种安装方法。
AI编程到底有没有护城河？RL+Agent重塑代码世界！
作者作为cursor重度用户和算法出身玩家，分享AI编程赛道技术内幕。探讨AI编程视角下RL的难题，介绍AI编程体验进化要素，还聊了cursor 1.0更新，最后指出AI编程工具发展趋势。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
卡内基梅隆大学开源LegoGPT，用AI设计乐高模型
卡内基梅隆大学开源LegoGPT，可依文本提示生成物理乐高模型。它把乐高设计转为自回归文本生成任务，基于LLaMA - 3.2 - 1B - Instruct微调，应用场景广泛，如教育、玩具设计等。
AI不一定要“聊天”，OpenAI前研究员研发只做决策的模型，绕开文本生成，响应速度快200倍
本文报道前OpenAI研究员Diogo Almeida离职创业，推出不做文本生成、只输出结构化决策的新AI模型Jev，公开性能数据，探讨大模型应用分工新路线。