신중하게 선별된 1,000개의 예시를 통해 사전 학습된 강력한 언어 모델을 미세 조정하면 다양한 프롬프트에서 놀랍고 경쟁력 있는 결과를 얻을 수 있음을 보여줍니다. 하지만 이러한 접근 방식에는 한계가 있습니다. 우선, 이러한 예시를 구축하는 데 상당한 정신적 노력이 필요하고 확장하기가 어렵습니다. 둘째, LIMA는 제품급 모델만큼 강력하지 않으며, 일반적으로 좋은 응답을 생성하지만 디코딩 중에 샘플이 잘못되거나 적대적인 프롬프트가 있으면 종종 약한 응답으로 이어질 수 있습니다. 하지만 이 연구에서 제시된 증거는 간단한 접근 방식으로 정렬의 복잡한 문제를 해결할 수 있는 잠재력을 보여줍니다.
We show that fine-tuning a strong pretrained language model on 1,000 carefully curated examples can produce remarkable, competitive results on a wide range of prompts. However, there are limitations to this approach. Primarily, the mental effort in constructing such examples is significant and difficult to scale up. Secondly, LIMA is not as robust as product-grade models; while LIMA typically generates good responses, an unlucky sample during decoding or an adversarial prompt can often lead to a weak response. That said, the evidence presented in this work demonstrates the potential of tackling the complex issues of alignment with a simple approach.