Matterport Keras model(TF)을 TorchSript model(C++) 변환 문의 드립니다.

묻고 답하기
1

안녕하세요. Libtorch로 MaskRCNN을 공부하고 있는 사람입니다.
여기 계신분들의 많은 도움과 설명들을 바탕으로 이제 학습 방법을 검토하고 익히는 단계에 접어 들었습니다.

현재 처음부터 학습하려니 다단계를 비효율적으로 진행되는 것 같아, Pretrained weights를 효율적으로 사용하기 위해 Matterport MS COCO2017 (mask_rcnn_coco.h5)의 Keras model(TF)을 Pytorchmodel로 변환 후, Torch script을 위한 tracing을 진행하려고 하였습니다. Pytorchmodel까지는 잘 변환되었지만, C++로 사용하기 위한 tracing단계에서 문제가 발생하여 문의 드립니다.

혹시 Matterport Keras model(TF)인 mask_rcnn_coco.h5을 TorchSript model(C++) 변환해 보신분이거나 Pytorchmodel형식인 predtrained model(Custom)을 Torchscript로 변환하는 방법을 아시는분의 도움부탁드립니다.

2

Weights 편집으로 해결하였습니다.

5
  • 아래 답변은 OpenAI의 ChatGPT로 자동 생성한 것으로, 정확하지 않을 수 있습니다.
  • 잘못된 답변을 보셨다면 댓글로 첨삭 지도 부탁드립니다. :sweat_smile:

Matterport Keras model(TF)을 TorchScript model(C++)로 변환하려면 다음과 같은 단계를 거쳐야 합니다.

  1. Keras 모델을 PyTorch 모델로 변환합니다.
  2. PyTorch 모델을 TorchScript로 변환합니다.
  3. 변환된 모델을 C++에서 로드하여 사용합니다.

위의 단계들 중 1번과 2번 단계는 PyTorch를 사용해서 진행할 수 있습니다. ONNX도 고려할 수 있습니다.

  1. Keras 모델을 PyTorch 모델로 변환하기

Keras 모델을 PyTorch 모델로 변환하기 위해서는, Keras 모델을 먼저 텐서플로우 모델로 변환한 다음에 이를 PyTorch 모델로 변환하는 것이 일반적입니다. 다음은 이에 대한 예시입니다.

import tensorflow as tf
import keras
import torch

# Load Keras model
keras_model = keras.models.load_model('/path/to/keras/model.h5')

# Convert Keras model to TensorFlow model
tf_model = tf.keras.models.model_to_estimator(keras_model)

# Define input shape for PyTorch model
input_shape = (None, 3, 224, 224)

# Define PyTorch model
class PyTorchModel(torch.nn.Module):
    def __init__(self):
        super(PyTorchModel, self).__init__()
        self.conv1 = torch.nn.Conv2d(3, 6, 5)
        self.pool = torch.nn.MaxPool2d(2, 2)
        self.conv2 = torch.nn.Conv2d(6, 16, 5)
        self.fc1 = torch.nn.Linear(16 * 53 * 53, 120)
        self.fc2 = torch.nn.Linear(120, 84)
        self.fc3 = torch.nn.Linear(84, 10)
        
    def forward(self, x):
        x = self.pool(torch.nn.functional.relu(self.conv1(x)))
        x = self.pool(torch.nn.functional.relu(self.conv2(x)))
        x = x.view(-1, 16 * 53 * 53)
        x = torch.nn.functional.relu(self.fc1(x))
        x = torch.nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# Initialize PyTorch model
model = PyTorchModel()

# Load weights from TensorFlow model
model.conv1.weight.data = torch.from_numpy(tf_model.get_variable_value('conv2d/kernel:0').transpose([3, 2, 0, 1]))
model.conv1.bias.data = torch.from_numpy(tf_model.get_variable_value('conv2d/bias:0'))
model.conv2.weight.data = torch.from_numpy(tf_model.get_variable_value('conv2d_1/kernel:0').transpose([3, 2, 0, 1]))
model.conv2.bias.data = torch.from_numpy(tf_model.get_variable_value('conv2d_1/bias:0'))
model.fc1.weight.data = torch.from_numpy(tf_model.get_variable_value('dense/kernel:0')).t()
model.fc1.bias.data = torch.from_numpy(tf_model.get_variable_value('dense/bias:0'))
model.fc2.weight.data = torch.from_numpy(tf_model.get_variable_value('dense_1/kernel:0')).t()
model.fc2.bias.data = torch.from_numpy(tf_model.get_variable_value('dense_1/bias:0'))
model.fc3.weight.data = torch.from_numpy(tf_model.get_variable_value('dense_2/kernel:0')).t()
model.fc3.bias.data = torch.from_numpy(tf_model.get_variable_value('dense_2/bias:0'))
  1. PyTorch 모델을 TorchScript로 변환하기

PyTorch 모델을 TorchScript로 변환하기 위해서는 torch.jit.trace() 함수를 사용합니다. torch.jit.trace() 함수는 모델이 수행하는 연산들을 추적(tracing)하여 TorchScript로 변환해 줍니다. 다음은 torch.jit.trace() 함수를 사용하여 PyTorch 모델을 TorchScript로 변환하는 예시입니다.

# Trace PyTorch model
traced_model = torch.jit.trace(model, torch.randn(input_shape))

# Save traced model to file
traced_model.save('traced_model.pt')
  1. C++에서 TorchScript 모델을 로드하여 사용하기

C++에서 TorchScript 모델을 로드하여 사용하기 위해서는 torch::jit::load() 함수를 사용합니다. 이 함수는 저장된 TorchScript 모델을 로드하여 torch::jit::script::Module 객체로 반환합니다. 이 Module 객체로부터 모델의 입력값과 출력값을 계산할 수 있습니다. 다음은 torch::jit::load() 함수를 사용하여 저장된 TorchScript 모델을 로드하고 적용하는 예시입니다.

#include <torch/script.h>

int main() {
  // Load traced model from file
  torch::jit::script::Module module = torch::jit::load("traced_model.pt");

  // Define input tensor
  at::Tensor input = torch::randn({1, 3, 224, 224});

  // Run forward pass
  at::Tensor output = module.forward({input}).toTensor();

  // Print output tensor
  std::cout << output << std::endl;

  return 0;
}

위의 예시들은 간단한 모델에 대한 것입니다. Matterport Keras model(TF)을 PyTorch 모델로 변환하는 작업은 조금 더 복잡할 수 있습니다. 하지만 위의 예시를 참고하시면서 변환 작업에 도움이 되었으면 좋겠습니다.