「长序列训练」共找到 2701 篇相关文章
HumanSense:探索多模态推理边界,打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense,含评估基准与推理模型。通过细粒度评测、全模态消融等研究,提出优化策略,项目已在 GitHub 和 HuggingFace 开源,推动 AI 交互体验革新。
被H-1B签证折磨10年,前微软科学家用AI「掀桌」
美国签证体系成本高、周期长、透明度低,前微软科学家Priyanka Kulkarni创办Casium,用AI改造签证服务,把材料准备时间大幅缩短,近期获500万美元种子轮融资。新规下,其服务更显重要。
GPT-5 核心成员详解 RL:Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈,探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合,GPT - 5 是 o3 迭代,还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。
对抗协作+原型学习!深北莫FedPall开源,联邦学习破局特征漂移,准确率登顶SOTA
深圳北理莫斯科大学人工智能研究院在ICCV发表FedPall算法,结合原型对比与对抗协作学习,在多种特征偏移数据集获SOTA性能。该算法通过多步骤训练缓解特征漂移,在多个公开数据集表现出色。
Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。
从数据分布视角,重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链(CoT)推理。指出CoT并非真正推理,而是模仿,其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化,提醒勿过度依赖。
吴恩达大谈,AI时代就业现状、生存法则。
吴恩达发长文谈AI就业生态,指出市场淘汰只会氛围编程的新人与拒绝用AI的老人。他面试看重三点,直言愿雇懂AI的应届生。约30%CS知识过时,还提及AI面试优势。
吴恩达来信:智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升,但耗时久。随着LLM每个token价格下降,更多智能体工作流被并行化,且相关研究增多。
杭州跑出的AI独角兽,突围大模型的“第二战场” | 甲子光年
2025年AI行业有转变,算力堆叠对大语言模型性能提升放缓,空间智能成“第二战场”。谷歌、英伟达等巨头纷纷布局,群核科技作为杭州“变量”,发布业界首个3D室内空间大模型,构建数据飞轮,技术有望落地多领域。