「超长上下文处理」共找到 1564 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
GLM4.5实测：审美不如R1，全栈还不大可用，别急冲
7月29日智谱开源GLM - 4.5。作者实测发现其在UI设计审美不如R1，生成卡片表现不一，Coding能力勉强及格，全栈代码生成未达可用阈值，存在无多模态能力、上下文窗口短等问题，目前还别急着冲。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
程序员的提示工程实战手册
文章围绕程序员如何利用提示工程让AI编程助手成为可靠开发伙伴展开。介绍给AI代码助手的提示词技巧、高效代码提示原则，还阐述调试、重构、实现新功能的提示模式，指出常见反模式及应对方法。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
狂揽20.2k星！还在傻傻的写SQL吗，那你就完了！这款开源项目，让数据分析像聊天一样简单？再见吧SQL
开源项目PandasAI让数据分析像聊天一样简单，由Sinaptik AI团队打造，将ChatGPT级自然语言处理能力注入Pandas。它有对话式分析、智能图表生成等亮点，适用于多场景，还给出使用步骤及与同类工具对比。
参数量暴降，精度反升！哈工大宾大联手打造点云分析新SOTA
哈工大（深圳）和宾大联合团队推出基于KANs的3D感知解决方案PointKAN，能处理点云数据下游任务。它替代MLP，有更强学习几何特征能力。还提出PointKAN - elite，降参保量。实验表现出色。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
文章介绍Embedding基础知识，从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术，如TF - IDF、word2vec、BERT等，还剖析DS - Qwen1.5B的Embedding并以图展示。
对话港理工吕佳欣：如何将一项实验室成果变成一条6500吨级的生产线？
文章是对港理工吕佳欣的访谈，围绕多筒挤压技术展开，探讨从实验室到产业化的过程、挑战及应对方法，还提及工业AI在制造领域的应用，如数据处理、经验转化等，强调科研与工程相互促进。
DeepSeek，Qwen，Grok组团发布，社区一手实测
LLM大爆发，一天内推出Grok 4.6、Qwen3.8 - Max、DeepSeek - V4 - Pro - 0813三款前沿产品。社区对它们进行多场景测试，如3D场景、Flappy游戏、飞机滑行动画等，并对比了不同模型的性能、价格和输出质量。