「模型行为团队」共找到 9215 篇相关文章
SOTA级的Embedding模型!F2LLM模型、数据、代码全部开源,人人可用
Embedding 模型应用广泛,但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM,含 0.6B、1.7B、4B 系列模型,仅用六百万数据微调基座,在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
AI 的下一个战场:端侧模型崛起
大模型退烧,小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果,英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔,但技术含量不低,面壁智能在端侧模型探索上成果丰硕,其 MiniCPM 系列不断迭代,还在多领域落地。
DeepSeek-R1推理智能从哪儿来?谷歌新研究:模型内心多个角色吵翻了
过去两年大模型推理能力跃迁,谷歌等机构研究指出,推理能力提升源于模型推理时隐式模拟类多智能体交互结构“思维社会”,还提出利用“群体智慧”新方向,并介绍了研究方法、实验结果等。
阶跃开源JetSpec,大模型推测解码提速近10倍
随着Agent应用爆发,大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec,该框架面向推测解码,在H100上把MATH - 500解码速度提升到9.64倍,突破了推测解码的扩展天花板。
开放全栈!超越π0,具身智能基础大模型迎来真·开源,开发者狂喜
继π0后,具身智能基座模型WALL - OSS正式开源,多项指标超越π0。它是通用多模态具身模型,具良好推理和泛化能力。背后自变量机器人刚完成近10亿A + 轮融资,开源将降低具身智能门槛。
大模型是否对问题难度有预判?最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针,定位负责难度感知的注意力头,还发现不同模型表现有差异。
何恺明新作:给扩散模型加正则化,无需预训练无需数据增强,超简单实现性能提升
何恺明最新论文研究扩散模型与表征学习的联系,提出Dispersive Loss正则化方法。它无需正样本对,有高通用性、低计算开销等优势,在多模型测试中提升了生成质量,在其他任务也有潜力。
AI也能当情感大师?腾讯发布最新AI社交智能榜单,最新版GPT-4o拿下第一
腾讯混元AI数字人团队打造SAGE自动化评估框架,可评价AI“共情力”与能否成“知心伴侣”。研究团队用其对18个主流模型测评,GPT - 4o表现最佳,还通过多实验分析模型特性。
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
LeCun离职后不止创一份业!押注与大模型不同的路线,加入硅谷初创董事会
离开Meta后,Yann LeCun创立AMI,还加入Logical Intelligence任技术研究委员会主席。该公司推能量 - 推理模型,与主流大模型路线不同,其Kona模型在数独测试上表现远超大模型。