Klarity 소개
Klarity는 생성형 모델의 출력(Generative Model Outputs)에서 불확실성(Uncertainty)을 분석하는 도구입니다. Kalrity는 확률적인 불확실성 분석(Raw Probability Analysis)뿐만 아니라, 의미적 유사성(Semantic Understanding)을 고려하여 보다 심층적인 분석을 수행할 수 있습니다. 이를 통해 모델이 특정 예측을 얼마나 확신하고 있는지, 유사한 예측이 어떻게 그룹화되는지 등을 파악할 수 있습니다.
현재 Klarity는 Hugging Face Transformers 라이브러리를 지원하며,
PyTorch 지원도 예정되어 있습니다. Klarity가 제공하는 주요 기능들은 다음과 같습니다:
-
이중 엔트로피 분석(Dual Entropy Analysis): 확률 기반 엔트로피와 의미적 유사성 기반 엔트로피를 결합하여 분석
-
의미적 클러스터링(Semantic Clustering): 유사한 예측을 그룹화하여 모델의 의사결정 과정 이해
-
구조화된 출력(Structured Output): JSON 형식으로 상세한 분석 결과 제공
-
AI 기반 분석(AI-powered Analysis): 별도의 분석 모델을 사용하여 인간이 이해할 수 있는 인사이트 제공
Kalrity는 다음 예시와 같은 구조화된 JSON(Structured JSON) 형태로 분석 결과를 제공하여 추가적인 후처리가 용이하며, 어떤 구간에서 모델의 불확실성이 높은지를 쉽게 파악할 수 있습니다:
{
"uncertainty_points": [
{
"step": int, # Generation step number
"entropy": float, # Entropy value at this step
"options": string[], # Top competing options
"type": string # Type of uncertainty
}
],
"high_confidence": [
{
"step": int, # Generation step number
"probability": float, # Token probability
"token": string, # Chosen token
"context": string # Contextual information
}
],
"risk_areas": [
{
"type": string, # Type of risk identified
"steps": int[], # Affected steps
"reasoning": string # Explanation of the risk
}
],
"suggestions": [
{
"issue": string, # Identified issue
"improvement": string # Suggested improvement
}
]
}
라이선스
Klarity 프로젝트는 Apache 2.0 License로 공개 및 배포되고 있습니다.
Klarity를 개발한 Klara Labs 홈페이지
Klarity GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~