안녕하세요. 제가 만든 사이트입니다. https://modelsthatrun.dev
광고 없고, 가입 없고, 수익화 계획도 없습니다. 논문이나 README에 적힌 숫자를 그대로 쓰기 어려워서, 집에 있는 RTX 4090으로 공개 코드와 공개 가중치를 직접 돌리고, 제가 잰 값만 올려 두었습니다.
지금은 모델 44개, 체크포인트 126개입니다. 검출, 세그멘테이션, 매팅, 깊이, 포즈가 먼저이고, 로컬 채팅 모델과 텍스트-이미지 모델도 같은 카드에서 같은 프로토콜로 넣었습니다. 비전은 공식 PyTorch 코드를 기본으로 하고, 채팅 모델은 llama.cpp GGUF입니다. 제가 잰 점수와 논문 점수는 따로 적습니다.
예시입니다. 모두 공식 기본 설정입니다.
- YOLO26 계열은 모델 페이지에 크기별 숫자가 있고, 목록의 YOLO26-n 행은 640×448에서 14.2ms, VRAM 571 MiB, 제가 잰 box AP 40.5입니다.
- Gemma 4 12b-q4_0: 97.4 tok/s, 8K에서 7.7 GiB, IFEval 89.3
- FLUX.2 [klein] 4b: 1024×1024, 4스텝 1.30초, 20.0 GiB, GenEval 0.82
측정 방법은 How we verify | ModelsThatRun 에 있습니다. 비전이면 predict() 한 번(배치 1), 언어 모델은 tok/s, 이미지 생성은 장당 초입니다.
한계도 적겠습니다. GPU는 4090 한 장이고, 입력 크기는 모델마다 공식 기본값이라 해상도를 맞춘 비교는 아니며, 포즈·깊이·매팅은 정확도를 아직 못 쟀습니다. 채팅 모델도 아직 4개 패밀리뿐입니다.
측정 도구는 GitHub - modelsthatrun/runner: Measure open models on your own NVIDIA GPU by one protocol, and send the results to ModelsThatRun · GitHub 에 있습니다. 빠진 모델이나 다음에 재 봤으면 하는 모델이 있으면 알려 주세요.