搜索：智元（Token）

「智元（Token）」共找到 1463 篇相关文章

社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。

强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。

港大、港科大与西电团队登上Nature子刊，攻克存算一体架构中模数转换器（ADC）能耗高难题。利用忆阻器可编程特性打造“智能标尺”，使AI芯片功耗降57.2%、面积缩30.7%，为下一代AI硬件开辟新路。

扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。

Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。

文章介绍华为超树HTP，它是完全自主、可泛化的推理新范式。能让LLM在超树结构上完成规划，不依赖人工示例和外部规划器，在复杂规划benchmark上实现SOTA准确率并降低token成本，还阐述其原理、创新点及应用实例。

本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

现有检索增强生成（RAG）技术在需复杂推理领域表现不佳，像只给菜谱不给实操演示。RAG+开创性新增“应用案例库”，与知识库构成双料库，在数学、法律、医疗场景测试中全面碾压传统方案，团队还透露了未来方向。