「提示词缓存」共找到 622 篇相关文章
Anthropic CEO:模型可在一亿上下文窗口中学习,且不改变权重,未来AI将每月10万美元
Anthropic CEO Dario Amodei预测几年内将出现月费10万美元、支持1亿词上下文窗口的AI模型。Google Research论文揭示LLM能在不改变权重下,通过「临时便签」机制学习,还介绍了其原理与实验验证。
Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构,用新注意力机制首次超越全注意力模型。长上下文任务中,它减少75%的KV缓存需求,推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
谷歌的DeepSeek时刻:LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法,能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失,还介绍其工作原理及实验结果。
Karpathy刚刚敲响警钟:大模型的“终极之战”打响!Agent大军即将全面接管研发
Andrej Karpathy发布新项目autoresearch,人改提示词,AI改训练代码。经约2天微调,找到约20个降低验证损失的修改,提升排行榜成绩。Agent还发现多项重要改进点,未来前沿LLM实验室或走此路。
智能体崛起,AI+软件研发到新拐点了?
InfoQ《极客有约》X AICon 直播邀请多位嘉宾探讨 LLM 时代软件研发新范式。指出 AI 在测试中多为提效工具,距“原生开发时代”尚远;Coding Agent 潜力大;还谈及 AI 应用场景、落地问题、人员能力要求等。
一个APP就能拍短片!人物、字幕、BGM……AI Agent统统自己搞定
剪映旗下内容创作Agent小云雀上线新功能,可文生数字人,还能根据提示词生成视频。它有“参考图生视频”玩法,能解决图片混剪难题。依托字节模型,创作门槛低,交付质量高,限时免费。
回复:用 AI 辅导教学问题
家长询问用Gemini 2.5 pro的OCR功能辅助孩子预习九门课程的问题,包括撰写提示词、有无更合适AI方案、家长角色及评估学习成果等,回复给出对应建议,如没必要上传教材等。
搜攻略到凌晨3点?飞猪AI“问一问”用1张表谋杀废话
作者用旅游方案提示词测试各类Agent产品,多输出废话。飞猪“问一问”旅行Agent却很厉害,能生成实用旅行规划,还给出汇总表格、地图、行程卡片等,考虑全面且细节丰富,还能找特价机票。
大规模替换数据库序列,保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时,为解决序列替换问题,自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制,以DynamoDB为数据源,让百余个服务无需重写代码完成迁移,性能和成本表现佳。
苹果拆解AI大脑,推理模型全是「装」的?Bengio兄弟合著
苹果最新研究揭示大推理模型(LRM)在高复杂度任务中普遍‘推理崩溃’。即便给予明确算法提示,模型亦无法稳定执行,暴露推理机制的局限性。研究还通过多种实验环境分析了模型在不同复杂度问题中的表现。