RTX 4090 한 장에서 오픈 모델 속도, VRAM, 정확도, 라이선스를 재서 공개한 사이트를 만들었습니다

안녕하세요. 제가 만든 사이트입니다. https://modelsthatrun.dev

광고 없고, 가입 없고, 수익화 계획도 없습니다. 논문이나 README에 적힌 숫자를 그대로 쓰기 어려워서, 집에 있는 RTX 4090으로 공개 코드와 공개 가중치를 직접 돌리고, 제가 잰 값만 올려 두었습니다.

지금은 모델 44개, 체크포인트 126개입니다. 검출, 세그멘테이션, 매팅, 깊이, 포즈가 먼저이고, 로컬 채팅 모델과 텍스트-이미지 모델도 같은 카드에서 같은 프로토콜로 넣었습니다. 비전은 공식 PyTorch 코드를 기본으로 하고, 채팅 모델은 llama.cpp GGUF입니다. 제가 잰 점수와 논문 점수는 따로 적습니다.

예시입니다. 모두 공식 기본 설정입니다.

  • YOLO26 계열은 모델 페이지에 크기별 숫자가 있고, 목록의 YOLO26-n 행은 640×448에서 14.2ms, VRAM 571 MiB, 제가 잰 box AP 40.5입니다.
  • Gemma 4 12b-q4_0: 97.4 tok/s, 8K에서 7.7 GiB, IFEval 89.3
  • FLUX.2 [klein] 4b: 1024×1024, 4스텝 1.30초, 20.0 GiB, GenEval 0.82

측정 방법은 How we verify | ModelsThatRun 에 있습니다. 비전이면 predict() 한 번(배치 1), 언어 모델은 tok/s, 이미지 생성은 장당 초입니다.

한계도 적겠습니다. GPU는 4090 한 장이고, 입력 크기는 모델마다 공식 기본값이라 해상도를 맞춘 비교는 아니며, 포즈·깊이·매팅은 정확도를 아직 못 쟀습니다. 채팅 모델도 아직 4개 패밀리뿐입니다.

측정 도구는 GitHub - modelsthatrun/runner: Measure open models on your own NVIDIA GPU by one protocol, and send the results to ModelsThatRun · GitHub 에 있습니다. 빠진 모델이나 다음에 재 봤으면 하는 모델이 있으면 알려 주세요.

3개의 좋아요

지난번에 올린 RTX 4090 측정 사이트 업데이트 소식이에요. 전체 모델에 CPU 전용 행을 넣었어요. PyTorch, ONNX Runtime, llama.cpp로 GPU를 숨기고 돌렸고, 숫자가 없는 칸에는 CUDA 전용 코드라서 같은 이유를 적어 뒀어요.

TensorRT도 추가했어요. 엔진은 저자들이 공개한 ONNX로 빌드했고, 시간을 재기 전에 그 엔진으로 COCO val2017 5,000장을 먼저 채점했어요. D-FINE n은 PyTorch fp32에서 21.9 ms, TensorRT fp16에서 10.5 ms였고, AP는 둘 다 42.6이었어요. 시간은 batch 1에서 predict() 한 번 전체, 그러니까 전처리와 후처리까지 포함한 값이에요.

바뀐 내용은 변경 로그(Changes | ModelsThatRun)랑 Atom 피드(ModelsThatRun: changes)에서 볼 수 있어요. 이메일 알림도 추가했으니 와서 확인해 보세요.