「Ulysses Attention」共找到 63 篇相关文章
推荐文章7
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
阿里云开发者
产品应用8
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
腾讯技术工程
开源动态7
MiniMax深夜开源首个推理模型M1，这次是真的卷到DeepSeek了。
MiniMax深夜开源首个推理模型M1，其上下文能力媲美Gemini 2.5 Pro。M1在部分评测中表现中规中矩，但在MRCR（4 - needle）测试中屠榜。它得益于MiniMax - 01基座模型，应用Lightning Attention机制，开源了40K和80K两个版本。
数字生命卡兹克