「轻量化机制」共找到 1216 篇相关文章
Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究
西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。
DeepSeek-V4蓄势待发！梁文锋署名论文或开启第二个DeepSeek时刻
据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。
AI越训练，越会「满嘴跑火车」！普林伯克利重磅揭秘，RLHF竟是罪魁祸首？
普林斯顿和伯克利研究《Machine Bullshit》，定义并量化LLM胡扯行为，总结四大套路，提出胡扯指数。实验发现强化学习人类反馈训练后，AI胡扯倾向加重，多思考也会让其更会忽悠。
哈工大最新研究AI Meets Brain
传统大模型有“健忘”问题，哈工大《AI Meets Brain》研究借鉴人类记忆机制，为AI智能体打造强大记忆系统。研究涵盖核心洞察、记忆形态、分类框架等内容，还探讨了记忆赋能方式及未来发展方向。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
快9倍还更清晰？Direct3D-S2一键解锁高效3D生成
在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。
刚刚，Anthropic这篇论文上了Natrue
Anthropic关于“潜意识学习”的研究发表于《Nature》杂志。研究揭示大语言模型能通过与语义无关的数据传递行为特征，如偏好、不对齐行为等，还探究了其机制，并在MNIST上验证。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。