Salesforce, CRM을 위한 LLM 벤치마크 공개 (LLM Benchmark & Leaderboard for CRM)
소개
Salesforce에서 최근 CRM(Customer Relationship Management, 고객 관계 관리) 분야에서의 대규모 언어 모델(LLM) 평가를 위한 벤치마크를 공개했습니다. 지금까지의 LLM 벤치마크들이 학문적이고 소비자 중심의 사용 사례 위주였던 것에 비해, 이번 벤치마크는 정확도(accuraty)나 신뢰도(truct&safety) 뿐만 아니라, 비용(cost)과 속도(speed)와 같은 비즈니스 고려 사항들을 반영한 것이 특징입니다.
Salesforce가 공개한 이 새로운 벤치마크는 CRM 시스템의 주요 목표인 영업 기회와 서비스 케이스 요약, 리드 육성, 영업 기회 요약 등 일반적인 영업 및 서비스 사용 사례를 평가하도록 설계되었습니다. 또한 Hugging Face를 통해 리더보드를 제공하여 전문가들이 CRM에 가장 적합한 LLM을 결정할 수 있도록 돕습니다.
벤치마크의 특징
-
정확성(Accuracy): 사실성, 완전성, 간결성, 지시 사항 준수의 네 가지 하위 카테고리로 구성됩니다. 정확한 예측이나 추천은 팀의 효율성을 높이고 고객 경험을 향상시킵니다.
-
비용(Cost): 높은, 중간, 낮은으로 분류되며, CRM 사용 사례별 운영 비용을 추정합니다.
-
속도(Speed): 정보 처리 및 전달의 응답성과 효율성을 평가합니다. 빠른 응답 시간은 사용자 경험을 향상시키고, 고객 대기 시간을 줄이며, 영업 및 서비스 팀이 신속하게 문제를 해결할 수 있도록 돕습니다.
-
신뢰 및 안전(Trust and Safety): 고객 데이터 보호, 데이터 프라이버시 규정 준수, 정보 보안, 편향 및 독성 방지 능력을 평가합니다.
향후 계획
Salesforce는 벤치마크에 새로운 사용 사례를 지속적으로 추가하고, 세밀하게 조정된 LLM을 포함한 평가를 강화할 예정입니다. 이는 CRM에서 AI를 도입하는 기업들에게 성능, 정확성, 책임, 비용의 적절한 조합을 찾는 데 중요한 기준이 될 것입니다.
더 읽어보기
Salesforce의 LLM 벤치마크 소개 글
Salesforce의 LLM 벤치마크 및 리더보드 상세 보기
Hugging Face에서 Salesforce의 LLM 리더보드 보기
Salesforce AI Research 홈페이지
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 