「上海交大」共找到 78 篇相关文章
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
从平面几何出发：形式化验证如何驱动MLLM的推理能力跃迁
多模态大语言模型在复杂数学与几何推理中有缺陷，现有训练方式让模型难有鲁棒推理能力。上海交大等团队提出“以形式化增强非形式化推理”方案，构建完整闭环，提升模型推理及泛化能力。
单应计算加速数十倍、计算量减少95%！基于几何的SKS和ACA矩阵分解被提出
东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解，计算量比通用方法减超95%，能减少二维码扫描等应用的计算消耗，有望用于多领域，论文已被IEEE T - PAMI接收。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
无损减少80%激活值内存，提升5倍训练序列长度，仅需两行代码
港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。
连续自回归的dots.tts：小红书开源语音合成模型「基座」
语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。