「弹性预训练」共找到 2216 篇相关文章
Embedding黑箱成为历史！这个新框架让模型“先解释，再学Embedding”
来自多高校研究人员推出可解释的生成式Embedding框架GRACE，解决传统文本表征模型黑箱式表征瓶颈。它重新定义对比学习信号，含三个关键模块，训练双模式统一，实验跨任务提升且不损生成能力。
Self-Forcing++：让自回归视频生成模型突破 4 分钟时长极限
加州大学洛杉矶分校与字节Seed等团队联合完成Self-Forcing++，让自回归视频生成模型突破4分钟时长极限。它解决传统模型架构缺陷，经三步技术实现稳定超长视频生成，实验超基线，但仍有长时记忆缺失等问题。
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。
经典之作！Agent无需奖励也能学习：通过“早期经验”的Agent Learning
该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。
LeCun团队开源首个代码世界模型：能生成代码还能自测自修！传统编程模型一夜成古典
Meta FAIR推出全球首个代码世界模型CWM，它能生成代码、理解语义，还‘懂得’代码执行，能模拟运行过程。在多个代码与推理任务表现出色，开源代码、训练细节等，不过目前仅支持Python。
这一次，天玑9500的端侧AI能力，友商赶不上了
9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
如何破解海量内容审核难题？快手安全大模型技术探索与应用实践
在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。
AI三问：Agent、LLM、RAG，一文厘清！
文章介绍大语言模型（LLM）、检索增强生成（RAG）和AI智能体（Agent）三种架构。阐述其概念、工作原理、应用场景、优缺点，还做了横向对比，给出选用建议，最后提及混合架构与未来趋势。
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。