「低token高压缩」共找到 1717 篇相关文章
从聊天窗口到多 Agent 控制台:一次 AI 编程协作范式的转移
作者分享了从单 Agent 协作到多 Agent 协作的编程范式转变。当前主流 AI 开发多为单 Agent 协作,效率低,作者设计了 Mexus 工具,解决多 Agent 协作、观测、Review 等问题,重塑人与 AI 协作关系。
中国AI创业者重登GTC舞台:杨植麟用技术语言讲了一个智能上限突破的浪漫故事|甲子光年
美国当地时间3月17日,月之暗面(Kimi)创始人杨植麟在英伟达GTC演讲,介绍Kimi技术路线图。他提出开源模型要出色,给出Token效率、长上下文、智能体集群三个概念,还探索了未来架构,且将创新开源。
Cursor 重新定义 Agent:脑子再大,不如会翻书。
Cursor 分享博客指出,Dynamic Context Discovery 效果远好于 long context 方式,开启动态上下文可使总 Token 消耗降 46.9%,还能减成本、降延迟、提准确率,但也存在成本转嫁、工程复杂度高和安全风险等问题。
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。
谷歌Gemini最强性价比模型发布,1块8读完3本三体
谷歌推出Gemini 3.1 Flash-Lite,号称性价比最高的Gemini 3系列模型,每百万输入token仅0.25美元,读完3本《三体》只需1.8元。性能表现佳,还支持可调思考层级。两小时后ChatGPT推出GPT - 5.3 Instant回应。
妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
今天,分享Clawdbot记忆系统最佳工程实践
文章分享了 Clawdbot 记忆系统的最佳工程实践。它能自主处理现实任务,其持久记忆系统独特,将一切保留在本地。文中介绍了上下文构建、记忆存储、搜索等方面,还提及多代理记忆、压缩、刷新等内容。
马斯克的「移动客厅」又火了:20人座无方向盘,每公里才3毛钱
前段时间旧金山大停电,Waymo无人驾驶出租车趴窝,特斯拉汽车不受影响。网友翻出特斯拉Robovan视频,马斯克称其将改变街道面貌。该车20人座无方向盘,运营成本低,预计2027年量产,此外马斯克身价破7000亿美元。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调(CRFT)方法,通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性,能提高推理准确率,学习参数量低,还适应少样本场景。
只有5%AI项目在挣钱!MIT最新报告印证奥特曼警告
MIT联合英伟达发布的AI商业分析报告显示,仅5%的AI项目能创造百万美元价值,其余在亏损。AI项目落地难,因工具与场景有差距,企业自研成功率低,投资也偏向前端职能。