「预训练视觉表征」共找到 2642 篇相关文章
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。
大模型能“原地”改参数了！字节Seed&北大新论文：测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。
全景视觉的Depth Anything来了！Insta360推出DAP，200万数据打造全场景360°空间智能新高度
Insta360等团队推出全景度量深度基础模型DAP，构建200万量级全景数据引擎，设计三阶段伪标签管线，在模型架构上也有创新，在多项测试中效果优异，项目代码与模型已开源。
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
本文是对阿里通义千问Qwen多语言负责人杨宝嵩的专访。他透露Qwen一开始就将国际化视作核心战略，团队建立文化标注体系确保内容安全合规。还谈到多语言推理难题及应对策略，认为扩大模型规模和数据量仍重要，合成数据是延续Scaling Law的关键。
最强多模态模型也拿不到30分？DeepImageSearch定义相册搜索新范式，开启个人视觉记忆的深度搜索时代
人大窦志成教授团队联合OPPO研究院提出DeepImageSearch图像检索新范式，将其从“逐张语义匹配”推向“语料库级上下文推理”。团队构建评测基准DISBench，用ImageSeeker框架评测主流模型，结果显示最强模型单次完美解决查询比例不超三成。
基础模型又一关键拼图，腾讯混元发布训练新范式「无相」：引入功能性记忆，打破静态权重枷锁
腾讯混元团队发布HY - WU范式，打破静态权重束缚，引入功能性记忆，实时生成个性化参数。应用于图形编辑基模效果好，在图像编辑任务表现优秀，还对未来AI架构提出多方面展望。
32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成
字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。
5Y News｜Kimi发布并开源 K2.5 模型，带来全新视觉理解、代码和Agent集群能力
2025年1月27日，月之暗面发布并开源Kimi K2.5模型，它是迄今最智能全能的模型，在多任务有出色表现。支持多模态输入，具备新能力，还推出Kimi Code工具，集群能力也开启Beta测试。
宇宙尺度压缩：Scaling Law的边界，柏拉图表征收敛于物质和信息交汇，解决P与NP问题，Simulation假说……
超对称公司在BigBang - Proton实现跨尺度跨结构科学多任务学习，提出宇宙尺度压缩构想。文章论证其科学基础、工程可行性与意义，探讨Scaling Law边界，还给出宇宙尺度压缩计划和相关假设。
刚刚！OpenAI训练GPT-4b攻克诺奖级“细胞再生”难题：效率狂飙50倍，连DNA损伤都能修复
OpenAI联手Retro Biosciences研发GPT - 4b micro用于蛋白质工程，让诺奖级细胞再生技术效率提升50倍，设计的新蛋白质还有DNA损伤修复功能，结果在多方面获验证。