안녕하세요. Qwen3.8-Flash-Next를 로컬에서 실행하는 Strata를 포크해 Juud_engine을 개발하고 있어 공유합니다. 현재 공개한 소스 릴리스는 Strata v0.1.44.1 기반입니다.
추가한 기능
- Adaptive spin: CPU expert 배치가 끝난 뒤 워커가 불필요하게 대기 회전을 계속하는 시간을 줄입니다.
- 불필요한 CPU activation 양자화 생략: 단일 GPU의 혼합 다중 토큰 배치에서, 선택된 expert가 모두 GPU에서 실행되는 토큰에는 CPU activation 양자화를 수행하지 않습니다.
- 실행 전 확인: 현재 체크아웃과 일치하는 로컬 빌드 기록을 확인하고, Windows에서는 CUDA cuBLAS DLL 누락을 시작 전에 안내합니다.
두 디코딩 옵션은 엔진 기본값에서는 꺼져 있습니다. 저장소의 소스를 빌드한 뒤 RUN-JUUD로 실행하면 활성화됩니다. Strata의 OpenAI 호환 API와 내장 웹 UI를 유지하며, 기본 설치에서 내려받는 Strata 사전 빌드에는 Juud 변경이 포함되지 않습니다.
RTX 4090에서 확인한 점
같은 PC와 Qwen3.8-Flash-Next IQ3_S 팩으로 Strata/Juud A/B를 비교하고 쌍별 측정값, 요청·출력 해시, 모델·바이너리 해시와 검증 스크립트를 공개했습니다.
현재 v0.1.44.1 기본 비교에서는 출력이 코드 4K 입력 5쌍 중 2쌍, 한국어 2K 입력 5쌍 중 0쌍만 일치했습니다. 입력과 설정을 맞춰도 생성 문장과 MTP draft 수용이 달라지면 처리 시간이 달라질 수 있어, 최신 Strata 대비 성능 우위는 아직 검증되지 않았습니다. 이전 v0.1.39 결과를 현재 릴리스의 속도로 해석해서는 안 됩니다. H100 속도도 측정하지 않았습니다.
두 옵션을 모두 끈 상태, 각각 하나만 켠 상태, 둘 다 켠 상태를 비교할 수 있는 분리 실험 도구를 추가했습니다. CPU/GPU 혼합 실행의 병목, 출력 일치 조건에서의 측정 방법, 다른 하드웨어의 재현 결과에 대한 피드백을 받고 싶습니다.
현재는 소스 빌드와 별도의 모델 다운로드가 필요한 실험 단계입니다. 코드 수정과 문서·이 글의 초안 작성에 AI 도구의 도움을 받았으며, 저는 프로젝트를 공개하고 실험 방향을 정한 당사자입니다.