「线性序列建模」共找到 395 篇相关文章
开源动态8
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
InfoQ
8
大模型思维链推理速度倍增！——RoT新框架把思维链「画」进隐空间
随着大模型规模扩展，思维链（CoT）成处理复杂推理任务标准范式，但显式CoT依赖长序列生成，隐式CoT面临优化挑战。腾讯提出RoT新框架，利用视觉编码器将文本推理步骤转为视觉嵌入，实现Token压缩与推理加速，且过程可分析。
腾讯技术工程
算法论文8
LLM驱动的威胁情报提取框架，从非结构化到STIX的自动化:IntelEX
为应对网络攻击，需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具，通过LLM上下文学习等增强，能识别攻击序列并提取结构化情报为STIX格式，还可转化成Sigma，在测试中表现优异。
AI与安全
算法论文8
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
Agent的潜意识
新闻资讯8
对话VAST曹炎培：2秒才是3D生成本该有的速度
本文对话VAST首席科学家曹炎培，介绍其最新Smart Mesh功能，仅靠提示词或参考图，2秒内极速生成3D模型。Tripo P1.0重构AI 3D底层范式，实现原生三维空间概率生成。VAST获5000万美元A轮融资，今年将推UGC 3D平台。
量子位