# \#tornadovm **URL:** https://discuss.pytorch.kr/tag/tornadovm/4957.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [GPULlama3.java: Java로 작성된 Llama 3 추론을 GPU에서 가속할 수 있게 하는 프로젝트 (feat. TornadoVM)](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 1, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036 "2025-06-01T03:30:23Z")
GPULlama3.java 소개 Java 환경에서 LLM 추론은 주로 CPU 기반으로, 대규모 모델을 추론하려면 성능 한계에 쉽게 접하게 됩니다. Beehive Lab에서 공개한 GPULlama3.java는 TornadoVM을 활용하여 Java 코드로 작성된 Llama 3 추론을 GPU에서 실행할 수 있도록 지원합니다. GPULlama3.java는 Java 기반의 LLM 추론 프로젝트인 Llama3.java를 GPU에서 실행할 수 있도록 확장한 프로젝트입니다. TornadoVM을 활용하여 Java 코드를 GPU에서 실행 가능하게 하며, 이를 통해 Llama 3 모델의 추론을 GPU 가속으로 수행할 수 있습니다. Beehive Lab은 맨체스터 대학교의 Advanced Processor Technologies 그룹의 일원으로, 하드웨어/소프트웨어 공동 설계(hardware/software co-design)에 특화된 연구를 진행하고 있습니다. 이 프로젝트는 Java 개발자들이 GPU를 활용하여 LLM 추론을 수행할 수 있도록 지원하는 데 목적이 있습니다. 기존의 Llama3.java 프로젝트와 비교했을 때 다음과 같은 차이점이 있습니다: 항목 Llama3.java GPULlama3.java 실행 환경 CPU 기반 GPU 가속 (TornadoVM 활용) 주요 기술 Java Vector API, GraalVM Native Image TornadoVM, OpenCL/CUDA 성능 CPU 성능에 의존 GPU를 활용한 병렬 처리로 향상된 성능 활용 대상 Java 기반 LLM 추론 학습 및 실험 Java 환경에서의 고성능 LLM 추론 구현 GPULlama3.java 프로젝트의 주요 특징 GPU 가속 추론: TornadoVM을 활용하여 Java 코드를 GPU에서 실행, Llama 3 모델의 추론을 가속화합니다. 순수 Java 구현: Java로 작성된 Llama3.java를 기반으로 하여, Java 개발자들이 친숙한 환경에서…