「语义压缩」共找到 385 篇相关文章
Physical Intelligence联创最新访谈:机器人尚未进入可预测的Scaling阶段
2024年末PI实验室测试,机器人表现有惊喜也有“语义上说得通的错误”。联创Levine在访谈中认为,机器人未到可预测Scaling阶段,还在确定规模化技术路径,也谈到数据、泛化、可靠性等问题。
大模型也需要睡觉!让AI打个盹,醒来更聪明
卡内基梅隆大学和马里兰大学研究发现,大模型处理长上下文易累傻。受人脑机制启发,设计睡眠机制,让模型在上下文窗口快满时打盹,反复咀嚼信息,压缩进长期权重。测试显示,增加“睡眠”轮次能提升深度推理表现。
给 AI 戴上六顶思考帽
作者探讨如何让 AI 长时间高质量输出,提出初版方案。后借助「六顶思考帽」思维法,用 Moxt 产品创建 6 个 AI 同事评审草稿,各帽给出反馈,AI 间通过文件协作,Moxt 有小问题但方向值得关注。
深度解析 OpenClaw 在 Prompt / Context / Harness 三个维度中的设计哲学与实践
文章从Prompt、Context和Harness三个维度解析OpenClaw设计思路。Prompt工程有动态组装与文件驱动特点;Context工程含可扩展技能、上下文压缩修剪及双层记忆管理;Harness工程为模型套“马具”,保障其可控运行。
比「小龙虾」更能打,中国AI视频大模型悄悄登顶全球第一
昆仑万维旗下 SkyReels-V4 Preview 版在权威评测平台超越 OpenAI、Google 等模型,登顶全球第一。它提升语义理解和逻辑能力,新增参考任务,还支持多语言短剧生成、视频编辑等,将在中关村论坛亮相。
模型大一统?1100多个模型殊途同归,指向一个「通用子空间」!
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证,虽成因待探索,但意义深远。
Nature重磅!清华团队揭秘大模型新规律:告别参数内卷,智能密度每3.5个月翻一番
清华和面壁智能团队研究揭示大语言模型进化的致密律,指出为获同等智能,模型参数量呈指数级下降,最大能力密度约每3.5个月翻一番,还探讨模型压缩、边缘智能等内容。
【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】
当前主流语言模型依赖固定词表,扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型,通过将文本变成图像用视觉Transformer理解,实验验证其有跨语言、抗噪声等优势。
VAE再被补刀!清华快手SVG扩散模型亮相,训练提效6200%,生成提速3500%
前脚谢赛宁宣告VAE在图像生成领域退役,后脚清华与快手可灵团队就推出无VAE潜在扩散模型SVG。它通过语义+细节双分支+分布对齐,实现多任务通用,训练提效62倍、生成提速35倍。
超越 Prompt 和 RAG,「上下文工程」成了 Agent 核心胜负手
本文称「上下文工程」成 Agent 核心胜负手,它指在正确时间为 Agent 提供正确信息,超越 Prompt 和 RAG。文章归纳五大策略,如转移、压缩等,并结合 *The Bitter Lesson* 启示,探讨构建面向未来的 AI Agent。