搜索：两阶段微调 - AI Reading Hub

「两阶段微调」共找到 1556 篇相关文章

国产GPU造富狂欢：谁是最大赢家？

2025年12月，摩尔线程和沐曦股份上市引发资本市场狂欢，股价暴涨带来造富效应。国资背景投资方在两家公司上市前占据重要地位，私募大佬葛卫东等也入局。但两企业未盈利，面临技术、竞争等挑战。

近日，量旋科技完成数亿元B系列轮融资。量子计算市场前景大，虽面临挑战，但产业正从技术研发迈向产业化。量旋科技选超导与核磁共振两条技术路线，其发展分三阶段，未来或与AI结合。

本文从系统工程视角剖析 Agent 系统问题与复杂度，指出开发中‘简单’是假象，复杂性只是被转移。介绍了 Agent 开发各阶段难点，通过案例说明其落地困境，提出将其视为系统组件，先求稳定可靠，还提及开发思路、模式及最新进展。

北大团队提出 INP - CC 模型重塑开放词汇 HOI 检测。它提出交互感知提示生成和概念校准两项创新，结合输入图片特性构造提示集合，引入‘困难负样本采样’策略，在两大数据集上表现超 SOTA。

本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。

近日，新加坡AI应用开发商Orion Arm获1100万美元A轮融资，投后估值达1亿美元。其创始人是前饿了么联合创始人汪渊，已发布智能日程管理应用Toki AI和资讯工具Syft AI两款产品，目标三年内让用户达1亿。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。

随着大模型发展，全参数微调成本高，参数高效微调（PEFT）成主流。常见基于矩阵低秩分解的PEFT方法有局限，张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题，有工程和理论优势。

大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。