'LLM을 활용한 사회과학 실험 결과 예측 데모' 소개
이 Demo는 논문 "Prediction of Social Science Experimental Results Using Large Language Models"와 함께 제공되며, LLM을 사용하여 미국 성인 대상자의 실험적 처리 효과를 예측하는 도구입니다. 비용 절감을 위해 GPT-4 대신 GPT-4o-mini를 사용한 예측 기능을 제공합니다.
사용자는 특정 주제에 대해 실험적 처리 효과를 예측할 수 있으며, 이는 실제 실험을 보완하는 수단으로 활용될 수 있습니다. 이 도구는 설문 실험에서 처리 효과를 예측하는 데 있어 70-80%의 정확도를 보였습니다. 전통적인 방법으로 실험을 진행하는 데는 시간과 비용이 많이 들며, 위험 요소가 동반될 수 있습니다. 반면, LLM을 활용하면 사전 예측을 통해 최적화된 실험을 설계할 수 있어 비용 절감과 효율성 증대가 가능합니다. 사회과학 실험에서 사전 검증 및 최적화 과정에 큰 도움이 될 것입니다.
주요 특징
-
설문 예측 정확도: LLM을 통해 설문 실험에서 처리 효과를 예측하는 정확도는 70-80%에 달합니다.
-
신속한 인터벤션 디자인: 여러 메시지를 빠르게 평가해, 효과적인 메시지 기반 개입 설계를 도와줍니다.
-
위험 최소화: 인간 참가자에게 잠재적 위험이 있는 연구에서, 먼저 시뮬레이션을 통해 위험을 줄일 수 있습니다.
데모 사용 방법
- 주제 선택: 예측하고자 하는 주제를 선택합니다.
- 예시: 기후 변화
- 종속 변수 선택: 태도나 신념 등을 선택해 처리 효과를 예측합니다.
- 기후 변화와 관련된 종속 변수 예시:
- 기후 변화에 대해 얼마나 걱정하고 있습니까?
- 기후 변화를 해결하기 위한 행동을 얼마나 강하게 지지합니까?
- 기후 변화를 막기 위해 탄소세 도입을 지지합니까?
- "재생 에너지 자원에 대한 투자는 우리 미래에 필수적이다"라는 진술에 얼마나 동의/동의하지 않습니까?
- 개인적인 선택(예: 교통, 소비)으로 탄소 발자국을 줄이는 것이 얼마나 중요하다고 생각하십니까?
- 처리 입력: 실험에서 사용할 메시지를 입력합니다.
- 서베이 실험에 나타날 정확한 메시지나 비네트를 작성합니다. 이 도구는 이 입력을 사용하여 미국 참가자의 응답을 시뮬레이션하고 처리 효과를 예측합니다.
- 결과 예측: "Submit"을 클릭해 결과를 예측하고, LLM이 미국 참가자들의 응답을 시뮬레이션합니다.
- 제출 후 도구는 실험을 시뮬레이션하고 예측된 처리 효과를 표시합니다.
LLM을 활용한 사회과학 실험 결과 예측 데모
https://www.treatmenteffect.app/
관련 논문 "Prediction of Social Science Experimental Results Using Large Language Models"
https://www.treatmenteffect.app/paper.pdf
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 
