Yaml을 통한 모델 관리를 하고싶습니다

묻고 답하기
1

안녕하세요, 이제 막 파이토치를 시작한 초보입니다.

Video/Image 데이터 셋으로부터
RGB 와 Optical flow를 추출하고 관리하는 Yaml/XML 파일을 작성하고자 합니다.

다만, XML이나 Yaml을 통하여 어떻게 해당 작업을 수행할 수 있는지 찾아봐도
Annotation 관련 글만 보여 어려움을 겪고 있습니다.

궁극적인 목적은 하나의 xml/yml 파일로, 다수의 데이터 셋으로부터 다양한 피처들을 뽑아내고 관리하는 것인데요.

어떠한 문서를 참고하면 좋을지, 혹은 일반적으로는 어떤 방식을 선택하는지요?

읽어주셔서 감사합니다.

2

다수의 데이터 셋이 어떤 것인지부터 알아야 할 것 같습니다.
보통 데이터셋마다 Format이 다르지 않을까가 제 추측입니다.

그리고 궁금한게 꼭 yaml/xml로 RGB, optical flow를 추출해야 하는건가요?

1개의 좋아요
3

댓글주셔서 감사합니다.

  1. 데이터셋은 image 파일로 UCSD Ped와 같은 데이터셋입니다.
  2. 이후 RGB/Optical flow 외에도 여러 피처들을 추가로 추출하고 싶은데 하나의 yaml/xml로 작성해두면 편리하다는 팁을 얻어 공부 중이었습니다. 데이터를 다양하게 전처리 하고자 하는 목적을 가진 파일이 아닐까 싶습니다. ^^;
4

저도 한번도 해보지 않아 도움을 드리기는 힘들 것 같네요ㅠㅠ
yaml/xml의 형식을 예시로 들어주시면 다른 분들의 도움을 받으시길 수월할 것 같습니다. :smile:
감사합니다!

1개의 좋아요
5

yaml/xml 파일 같은 경우는 특정 프레임워크에서 워크 프로시져를 스크립트화 해 둘수 있긴 하지만,
단순히 파일 포맷만으로는 데이터 파이프라인이나 프레임워크에 따라 무한대의 가능성이 있습니다.
어떤 환경에서 어떤 순서로, 어디에서부터 데이터를 가져와서 처리하고자 하는
대략적인 밑그림이 있어야 좀 더 구체적인 말씀을 드릴 수 있을 것 같네요.

1개의 좋아요
6

제가 전반적인 이해가 부족해서, 조금 난해하게 질문을 드렸네요 ^^;
답변 감사드립니다. 좀 더 구체화시킬 수 있도록 공부해보겠습니다.
좋은하루되세요.

1개의 좋아요
7

윗 분들께서 말씀해주신 것처럼 xml, yaml은 특정 도구에 입력으로 들어가게 될 것 같고요,
찾으시는 것은 xml, yaml 보다는 해당 도구일 것 같습니다.

Feature Store, MLOps, DataOps 등의 키워드로 원하시는 워크플로우를 실행할 수 있는 도구를 찾아보시는 것은 어떠실까요?