# \#java
**URL:** https://discuss.pytorch.kr/tag/java/4355.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [GPULlama3.java: Java로 작성된 Llama 3 추론을 GPU에서 가속할 수 있게 하는 프로젝트 (feat. TornadoVM)](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 1, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036 "2025-06-01T03:30:23Z")
GPULlama3.java 소개 Java 환경에서 LLM 추론은 주로 CPU 기반으로, 대규모 모델을 추론하려면 성능 한계에 쉽게 접하게 됩니다. Beehive Lab에서 공개한 GPULlama3.java는 TornadoVM을 활용하여 Java 코드로 작성된 Llama 3 추론을 GPU에서 실행할 수 있도록 지원합니다. GPULlama3.java는 Java 기반의 LLM 추론 프로젝트인 Llama3.java를 GPU에서 실행할 수 있도록 확장한 프로젝트입니다. TornadoVM을 활용하여 Java 코드를 GPU에서 실행 가능하게 하며, 이를 통해 Llama 3 모델의 추론을 GPU 가속으로 수행할 수 있습니다. Beehive Lab은 맨체스터 대학교의 Advanced Processor Technologies 그룹의 일원으로, 하드웨어/소프트웨어 공동 설계(hardware/software co-design)에 특화된 연구를 진행하고 있습니다. 이 프로젝트는 Java 개발자들이 GPU를 활용하여 LLM 추론을 수행할 수 있도록 지원하는 데 목적이 있습니다. 기존의 Llama3.java 프로젝트와 비교했을 때 다음과 같은 차이점이 있습니다: 항목 Llama3.java GPULlama3.java 실행 환경 CPU 기반 GPU 가속 (TornadoVM 활용) 주요 기술 Java Vector API, GraalVM Native Image TornadoVM, OpenCL/CUDA 성능 CPU 성능에 의존 GPU를 활용한 병렬 처리로 향상된 성능 활용 대상 Java 기반 LLM 추론 학습 및 실험 Java 환경에서의 고성능 LLM 추론 구현 GPULlama3.java 프로젝트의 주요 특징 GPU 가속 추론: TornadoVM을 활용하여 Java 코드를 GPU에서 실행, Llama 3 모델의 추론을 가속화합니다. 순수 Java 구현: Java로 작성된 Llama3.java를 기반으로 하여, Java 개발자들이 친숙한 환경에서…
---
## [Jlama: Java 기반 최신 LLM 추론 엔진](https://discuss.pytorch.kr/t/jlama-java-llm/6000)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 30, 2025, 9:00오후 UTC](https://discuss.pytorch.kr/t/jlama-java-llm/6000 "2025-01-30T21:00:41Z")
Jlama 소개 Jlama는 Java 애플리케이션에서 직접 LLM을 실행할 수 있도록 도와주는 경량 추론 엔진입니다. Python이 아닌 Java 환경에서 Llama, Mistral, Gemma 등의 모델을 실행할 수 있으며, Java 20 이상에서 실행 가능합니다. 특히, Java의 Vector API를 활용하여 빠른 추론 속도를 제공하며, 다양한 최신 모델과의 호환성을 지원합니다. Jlama의 주요 특징은 다음과 같습니다: 지원하는 모델 Gemma, Llama, Mistral, Mixtral, Qwen2, IBM Granite, GPT-2, BERT 등 다양한 LLM 지원 BPE 및 WordPiece 토크나이저 지원 주요 기능 Paged Attention 및 Mixture of Experts(MoE) 구현 OpenAI API와 호환되는 REST API 제공 Hugging Face의 SafeTensors 포맷 지원 FP32, FP16, BF16, Q8, Q4 양자화(Quantization) 지원 분산 추론(Distributed Inference) 지원 Jlama는 Java 애플리케이션에서 직접 LLM 추론을 실행할 수 있도록 설계되었으며, 특히 LangChain4j와의 통합이 가능하여 더욱 쉽게 활용할 수 있습니다. 라이선스 Jlama는 Apache 2.0 License로 배포됩니다. 상업적 사용이 가능하며, 자유롭게 수정 및 배포할 수 있습니다. :github: Jlama GitHub 저장소 https://github.com/tjake/Jlama :hugs: Jlama에서 사용 가능한 Hugging Face 모델 모음 :chains: LangChain4j 연동 예제 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드…
---
## [AI Code Reviewer: Ollma 모델 기반 코드 리뷰, 버그 수정 등 코드 품질 향상을 위한 AI 기반 코드 분석 도구](https://discuss.pytorch.kr/t/ai-code-reviewer-ollma-ai/5973)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 25, 2025, 11:00오후 UTC](https://discuss.pytorch.kr/t/ai-code-reviewer-ollma-ai/5973 "2025-01-25T23:00:02Z")
AI 코드 리뷰어(AI Code Reviewer) 프로젝트 소개 AI Code Reviewer는 코드 품질 향상을 목표로 한 AI 기반 코드 분석 도구로, 다양한 프로그래밍 언어에 대해 코드 리뷰 및 버그 수정, 성능 향상, 보안 문제 해결 등의 실질적인 피드백을 제공하는 것을 목표로 하고 있습니다. 이 도구는 다음과 같은 문제를 해결하는 데 도움을 줍니다: 코드 내 잠재적 버그 탐지 애플리케이션 성능 개선 보안 취약점 발견 및 해결 특히, Java와 Ollama 기반으로 작동하기 때문에 다양한 AI 모델과 통합하여 사용할 수 있는 것이 장점입니다. 또한 설치 후 터미널에서 간단히 명령어를 실행해 결과를 바로 확인할 수 있다는 점이 큰 장점입니다. AI Code Reviewer 프로젝트는 기존의 정적 분석 도구(SonarQube, Checkmarx)와는 달리, AI Code Reviewer는 다음과 같은 장점을 가지고 있습니다: 다양한 AI 모델 지원: Ollama를 통해 gemma2, llama3.1, qwen2.5-coder 등의 최신 AI 모델을 사용할 수 있습니다. 터미널 기반 간편 실행: 단순한 명령어로 코드를 리뷰할 수 있어 복잡한 설정 과정 없이 바로 사용 가능합니다. 다양한 언어 지원: 여러 프로그래밍 언어를 분석할 수 있어 프로젝트 유형에 구애받지 않습니다. 라이선스 AI Code Reviewer 프로젝트는 MIT 라이선스로 공개 및 배포되고 있습니다. :github: AI Code Reviewer 저장소 https://github.com/larrydiamond/AICodeReviewer 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: :pytorch:파이토치 한국 사용자 모임…