moonshotai

cuda ,  pytorch ,  linear-attention ,  kimi ,  cutlass ,  gpu-kernel ,  moonshotai ,  flash-attention ,  kimi-delta-attention ,  flashkda

transformer ,  paper ,  attention ,  architecture ,  kimi ,  attention-residuals ,  residual-connection ,  moonshotai ,  scaling