「无损文本压缩」共找到 668 篇相关文章
深度解析 OpenClaw 在 Prompt / Context / Harness 三个维度中的设计哲学与实践
文章从Prompt、Context和Harness三个维度解析OpenClaw设计思路。Prompt工程有动态组装与文件驱动特点;Context工程含可扩展技能、上下文压缩修剪及双层记忆管理;Harness工程为模型套“马具”,保障其可控运行。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景,其实现可概括为一种layout变换,还提供`enable_head_parallel`和`use_fp8_comm`选项,效果受运行环境等因素影响。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理,未充分利用预训练数据。将介绍最新工作Ouro,Loop语言模型家族,核心创新多,虽参数少却性能优,还会讨论其推理轨迹及模型Scaling新可能。
Alex Wang“没资格接替我”!Yann LeCun揭露Meta AI“内斗”真相,直言AGI是“彻头彻尾的胡扯”
图灵奖得主 Yann LeCun 在访谈中,尖锐评价当前 AI 发展路径,认为规模化大模型是死胡同。他正通过新公司 AMI 推动“世界模型”技术路线,还谈到 AI 关键要素、安全等问题,与主流观点分歧明显。
模型大一统?1100多个模型殊途同归,指向一个「通用子空间」!
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证,虽成因待探索,但意义深远。
Nature重磅!清华团队揭秘大模型新规律:告别参数内卷,智能密度每3.5个月翻一番
清华和面壁智能团队研究揭示大语言模型进化的致密律,指出为获同等智能,模型参数量呈指数级下降,最大能力密度约每3.5个月翻一番,还探讨模型压缩、边缘智能等内容。
CuteDSL-1: Introduction
文章介绍CuteDSL,它因Cutlass编译慢、调试难等痛点而生,可在Python构建DSL,编译快、调试易且性能无损。文中阐述其架构、使用方法、与PyTorch集成优势等,还提及基于CuTe的开发及性能对比。
用 1/1000 的参数打穿大模型:我为什么强烈推荐 PaddleOCR
PaddleOCR是百度开源的OCR工具,模型参数仅0.07B,却能在复杂场景媲美大模型精度。其新一代PP - OCRv5全面升级,在文本检测等方面表现出色,还稳定增长且在海外受关注。
超越 Prompt 和 RAG,「上下文工程」成了 Agent 核心胜负手
本文称「上下文工程」成 Agent 核心胜负手,它指在正确时间为 Agent 提供正确信息,超越 Prompt 和 RAG。文章归纳五大策略,如转移、压缩等,并结合 *The Bitter Lesson* 启示,探讨构建面向未来的 AI Agent。
实测Perplexity Pro平替模型,免费开源仅4B
一款仅4B大小的开源模型Jan-v1,声称能平替Perplexity Pro,且完全免费、支持本地部署。实测发现,它在检索增强生成、上下文深度分析等能力上表现不错,入门级显卡即可带动本地部署。