# \#reasoning-eval **URL:** https://discuss.pytorch.kr/tag/reasoning-eval/7569.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [ChainReason: Ethereum과 DeFi 작업에서 LLM 추론 능력을 다섯 가지 축으로 평가하는 벤치마크](https://discuss.pytorch.kr/t/chainreason-ethereum-defi-llm/10142)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 10, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/chainreason-ethereum-defi-llm/10142 "2026-05-10T09:30:48Z")
ChainReason 소개 LLM이 코드 생성과 일반 추론에서 좋은 성적을 보이면서, 블록체인이나 DeFi(탈중앙 금융, Decentralized Finance) 같은 도메인 특화 작업에서도 활용 가능성이 함께 논의되고 있습니다. 그러나 기존 Solidity 또는 블록체인 관련 LLM 벤치마크는 코드 생성과 취약점 탐지(vulnerability detection) 두 축에 집중되어 있어, 실제 스마트 컨트랙트 엔지니어나 DeFi 분석가가 일상적으로 다루는 추론 능력을 충분히 평가하지 못합니다. 예를 들어 프로토콜 메커니즘(protocol mechanics)에 대한 개념 이해, 트랜잭션의 의도 분류, AMM(Automated Market Maker) 풀 상태에서의 슬리피지(slippage) 계산처럼 모델이 다른 종류의 추론을 동시에 잘하는지 측정하기 어려운 편입니다. ChainReason은 이러한 빈 곳을 채우기 위해 설계된, Ethereum과 DeFi 작업에 특화된 가벼운 LLM 추론 평가 스위트입니다. ChainReason의 핵심 접근법은 다섯 가지 서로 다른 추론 축을 하나의 벤치마크 안에 모아 모델의 강·약점을 다차원으로 드러내는 것입니다. 다섯 가지 태스크는 각각 객관식 프로토콜 QA, Solidity 스니펫 취약점 분류, ABI 요약 기반 컨트랙트 분류, 디코드된 액션 시퀀스로부터 트랜잭션 의도 추론, AMM 풀 상태에서의 출력량(슬리피지) 계산입니다. 이렇게 여러 태스크를 함께 다루면 어떤 모델은 취약점 분류에는 강하지만 슬리피지 계산에는 약한지, 또는 트랜잭션 그래프 이해에는 강하지만 프로토콜 QA에는 약한지를 분리해 평가할 수 있습니다. 또한 데이터셋은 의도적으로 작고 손으로 큐레이션되어 있어, 새 모델을 1분 이내에 검증해보는 "건강 검진" 도구로 사용하기 좋게 설계되어 있습니다. 기능 면에서 ChainReason은 단순 점수표가 아니라 태스크 정의, 평가 러너(runner), 결과 집계 스크립트, 새로운 태스크를 등록할 수 있는 확장…