搜索：局部加权线性回归

「局部加权线性回归」共找到 143 篇相关文章

中美科技博弈下的生存法则

中美科技博弈围绕原创型创新、应用型创新、技术自主与安全、全球影响力构建四大维度展开。中国在部分领域实现局部反超，应用创新优势明显，但在科学前沿仍需追赶。文章还探讨了半导体、能源资源等方面的挑战与策略。

超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。