「提示词技巧」共找到 643 篇相关文章
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
我这半年看过最好的 Vibe Coding 技巧
OpenAI 创始成员 Andrej Karpathy 在 X 阐述 Vibe Coding 实践，提出建立三层结构让不同工具各司其职完成开发。介绍不同场景适用工具，还谈及‘后代码稀缺时代’焦虑，给开发者带来启发。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
用好Agent最重要的技巧不是Skills，是这四个字。
作者分享使用Agent心得，强调“约束先行”，以Claude Code工作文件夹混乱为例，阐述顶层约束的重要性，介绍其规则体系，还展示全局CLAUDE.md文档，指出约束能让Agent工作更有序。
李飞飞发布世界模型新成果：一个提示，生成无限3D世界
李飞飞创业团队World Labs宣布能生成持久、可导航且能自定义操控的3D世界。该模型专注构建3D环境，有更好几何形状、多样风格、更大规模，还支持无限畅游，已推出beta版。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
终于敢把真实地址、银行卡、种子词直接扔给大模型了
作者将真实个人信息扔给多个大模型测试，结果模型收到的是脱敏后的占位符，OneAIFW 能自动完成敏感信息的占位和还原，本地完成操作，不留日志不上云，还介绍了使用方法和项目地址。
从繁杂技巧到极简方案：ROLL团队带来RL4LLM新实践
当前RL4LLM领域发展快但存在标准、结论不一及机制解释不足等问题。阿里巴巴淘天集团和爱橙科技联合高校基于ROLL框架研究，评估关键技术组件，提出简化算法Lite PPO，在多基准上表现佳。
Nature重磅：智能的尽头是算力！谷歌大佬承认「预测下一个词即智能」
芯片速度触顶，摩尔定律失效，但AI却在疯狂跃迁。Nature文章指出，智能的增长不靠芯片加速，而是结构重组与协作。其核心是预测和并行协作，AI正以类似生命演化的方式发展，与人类相互依存。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。