「预训练语义编码器」共找到 2315 篇相关文章
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
ICML spotlight | 一种会「进化」的合成数据！无需上传隐私，也能生成高质量垂域数据
大模型发展使数据短缺问题加剧，特殊领域更严重。为此提出合成数据自主进化框架PCEvolve，只需少量标注样本，就能在保护隐私同时进化出数据集，还介绍了其架构、选择器设计及实验结果。
微软研究院BioEmu登上Science，用生成式AI重塑蛋白质功能研究
7月10日，微软研究院AI for Science团队在《Science》发表成果，提出生成式深度学习模型BioEmu，结合多类数据训练，能模拟蛋白构象变化，有多项核心创新，已开源，未来将拓展应用场景。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
Nature警告：AI「数据饥渴症」引爆学术宕机潮！90%知识库濒临崩盘
Nature揭露AI爬虫疯狂「啃食」学术网站数据，致服务器瘫痪。DiscoverLife、BMJ等受影响，运营方难防「坏爬虫」，急需国际协议规范AI数据使用。
2.4k star 开源项目，Wingman AI + 知识图谱，如何帮你搭建‘私人大脑’？学术/项目必备，让笔记真正活起来！
MindForger是桌面Markdown IDE，可构建私人知识体系。它能本地运行，掌控数据，有思考联想、知识图谱浏览等功能，能解决笔记混乱等痛点，适用于学术、项目管理等场景。
AI编程到底有没有护城河？RL+Agent重塑代码世界！
作者作为cursor重度用户和算法出身玩家，分享AI编程赛道技术内幕。探讨AI编程视角下RL的难题，介绍AI编程体验进化要素，还聊了cursor 1.0更新，最后指出AI编程工具发展趋势。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。