「跨角色嵌入」共找到 680 篇相关文章
Hugging Face 推出 GOLD:让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法,解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点,让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏,实验效果良好,已集成到TRL库。
小扎新AI,凉得彻底?
9月25日,Meta推出嵌入Meta AI应用的AI视频流Vibes,可浏览、二创和分享AI视频,改写短视频玩法。它降低创作门槛,融入Meta生态,野心勃勃,但也带来版权等争议,还将与硬件结合,AI视频或成新全民入口。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
都标5美元,账单差三成!OpenAI高管:token从来没法直接比价
OpenAI Codex负责人Tibo指出,不同模型对同一段文字切分的token数不同,即便单token价格相同,最终账单也可能差异很大。他还提到,token无统一计量标准,跨厂商和新旧模型计数都难通用,真正重要的是每次成功结果的成本。
“同事.skill”不用写了,爱马仕 Hermes 主动“蒸馏”你,还让开发者集体抛弃 “龙虾”?!
近日,Hermes Agent 在国内爆火,获超 3.9 万 stars。它是单 Agent 架构,核心是学习循环,记忆分层管理。其网关功能强大,状态可跨会话留存。背后的 Nous Research 目标是打造抗衡 OpenAI 的开源模型,还引入区块链解决算力问题。
AI 编码 3.0:人机协作,正在走向多 Agent 协作系统化
文章指出AI编码正从2.0走向3.0,2.0解决生成问题,3.0则是执行系统。当Agent进入软件交付流程,协作需从经验驱动转向模型驱动,Kanban和Harness等工具也有了新角色,系统更强调验证和控制。
开源8300小时标注数据,新一代实时通用游戏AI Pixel2Play发布
随着AI在代码和图片生成领域成熟,研究人员开始关注其在游戏领域的表现。此前的专用模型缺乏跨游戏泛化能力,通用模型在游戏环境中表现不佳。为此,Player2研究员提出Pixel2Play模型,还开源了代码和数据集。
AI Agent 距离真正替人「全自动办公」,还有多远?
Meta、微软和 xAI 被曝监视员工操作来训练 AI,原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕,智能体存在长周期任务脆弱、跨应用错误放大等问题,未来 SaaS 软件或需为 Agent 重新设计。
王智、沈今晶、方汉、郑林等等都来了,AIFUT大会Day2上午场全记录。
AIFUT大会第二天上午场精彩纷呈。AJ谈900万人共建AI社区历程;王智、沈今晶探讨AI与电影创作;方汉称一人公司时代到来,分析难被替代的五种人;郑林谈影视成本与未来趋势;李勇提出AI玩具应是朋友。
蒸馏出「乔布斯」之后,他说Apple AI完全是shit
文章用女娲.skill蒸馏出乔布斯等人物,借乔布斯之口评Apple AI,指出Siri弱在vision。还介绍女娲造出的8个skill,对比其与ChatGPT角色扮演的区别,说明可蒸馏不同对象及用途,最后展示蒸馏喜剧技巧写的吐槽段子。