PyTorchKR의 11/09~15 주간 AI/ML 논문 모음에서 OptiMind 논문을 골랐습니다. 자연어로 쓴 최적화 문제를 해석기(solver) 코드로 옮기는 작은 모델을 돕는 방법입니다. 추론 단계에서는 (1) 모델이 문제 유형을 고르고, (2) 그 유형에서 자주 나오는 실수와 예방 규칙(힌트)을 받고, (3) 해석기 출력을 보며 여러 턴 고칩니다. 논문은 모델 학습(SFT·RL)도 함께 했고, Mamo-Complex에서 유형 분류 후 힌트를 준 설정이 힌트 없음·무작위 유형·모든 힌트 한꺼번에보다 높았다고 보고합니다(표 10, 1턴 기준 83.81 대 70.00·72.57·78.57).
저는 학습 없이 추론 단계만 가져와, 함정을 심은 한국어 재무 최적화 문제에서 힌트와 해석기 피드백이 싼 모델에 도움이 되는지 봤습니다.
- 저장소: GitHub - sinkytiger/fin-formulate-lite: Do class hints and solver feedback help a cheap model formulate finance optimization problems? An inference-only check of OptiMind (arXiv:2509.22979) on Korean finance problems with planted traps. · GitHub (저장소는 영어로 되어 있습니다)
- 논문: OptiMind (arXiv:2509.22979). 코드와 힌트 라이브러리는 microsoft/OptiGuide(MIT)에 있지만 가져오지 않고 새로 짰습니다.
논문 저자와는 관계없는 비공식 실험입니다. 모델·문제·출력 형식·해석기가 모두 달라 수치는 논문과 직접 비교할 수 없습니다.
실험 설정
- 문제: 한국어 재무 최적화 문제 120개(개발 30, 테스트 90)를 생성 코드로 만들었습니다. 자본예산(투자안 0/1 선택), 포트폴리오 비중, 채권으로 부채 현금흐름 맞추기, 3분기 단기 자금 조달, 정수 주 단위 매수, 은행 대출 한도 배분 6개 유형이고, 문제마다 변수와 제약이 8개 이하인 작은 선형·혼합정수계획입니다.
- 함정: 억 원·백만 원 혼용, "초과"와 "이상", 상호 배타, 선행 조건, 퍼센트, 업종 합계 한도, 잉여금 재투자, 차입 이자, 최소 현금, 정수 주식, 묶음 매수, 절댓값, "전체 대출금 대비" 비율, 위험가중치, 자기자본비율 등을 문제마다 1~4개 심었습니다. 함정마다 최적값이 0.5% 이상 바뀌거나 문제가 풀리지 않게 되는 문제만 남겼고, 모든 정답은 두 번째 방법(내점법 LP, 0/1 전수, 주식 수 전수)으로 다시 확인했습니다.
- 채점: 모델은 JSON 정식화 하나만 쓰고, SciPy의 HiGHS 해석기가 풉니다. 모델이 쓴 코드는 실행하지 않습니다. 정답 판정은 논문 기준(|ẑ−z*|/(|z*|+1) < 10⁻⁶) 그대로입니다.
- 모델: 주 모델은 Claude Haiku 5.5(thinking 끔)입니다. 원래 계획은 노트북 GPU(6GB)의 qwen3:4b였는데, 개발 문제 30개에서 거의 맞히지 못해(첫 버전 1개, 프롬프트를 고친 뒤 0개) 테스트 전에 바꿨습니다. qwen3:4b는 바닥 참고로 함께 돌렸습니다.
- 조건 8개: 힌트 없음(1턴), 정답 유형 힌트, 모델이 유형을 고른 뒤 힌트(논문 방식), 모든 유형 힌트, 엉뚱한 유형 힌트, 힌트 없이 해석기 결과를 보며 최대 5턴, 유형 힌트 + 해석기 결과 5턴(논문 전체 방식), 해석기 결과 없이 "다시 확인하라"만 5턴(대조군).
- 힌트: 유형별 2~7개, 논문 형식(흔한 실수 + 예방 규칙)으로 제가 개발 문제의 오류를 보고 썼습니다. 저는 문제 생성기도 직접 짰기 때문에 함정을 알고 있었고, 이 점은 힌트에 유리합니다.
- 사전 등록: 가설 5개와 판정 기준, 문제·힌트 파일을 테스트 실행 전에 커밋했습니다. 정답률의 신뢰구간은 Wilson 95%, 조건 간 차이의 신뢰구간은 문제를 다시 뽑는 짝 부트스트랩(10,000회) 95%입니다.
결과 (Claude Haiku 5.5, 테스트 90문제)
| 조건 | 정답 | 정답률 (95 CI) | 힌트 없음 대비(p, 95 CI) |
|---|---|---|---|
| 힌트 없음, 1턴 | 59/90 | 65.6 (55.3~74.6) | - |
| 정답 유형 힌트 | 67/90 | 74.4 (64.6~82.3) | +8.9 (-0.0~+18.9) |
| 유형 분류 후 힌트(논문 방식) | 65/90 | 72.2 (62.2~80.4) | +6.7 (-2.2~+15.6) |
| 모든 유형 힌트 | 66/90 | 73.3 (63.4~81.4) | +7.8 (+1.1~+15.6) |
| 엉뚱한 유형 힌트 | 46/90 | 51.1 (41.0~61.2) | -14.4 (-22.2~-6.7) |
| 힌트 없이 해석기 결과 5턴 | 71/90 | 78.9 (69.4~86.0) | +13.3 (+6.7~+21.1) |
| 유형 힌트 + 해석기 결과 5턴(논문 전체) | 76/90 | 84.4 (75.6~90.5) | +18.9 (+11.1~+27.8) |
| "다시 확인하라"만 5턴 | 63/90 | 70.0 (59.9~78.5) | +4.4 (+1.1~+8.9) |
API 비용은 개발 문제를 포함해 모두 $0.74였습니다.
가설 판정
| 가설 | 결과 |
|---|---|
| H1. 유형 분류 후 힌트가 힌트 없음보다 5%p 이상 높다 | 확인 못 함. +6.7%p(-2.2~+15.6)로 구간에 0이 들어 있습니다. |
| H2. 정답 유형 힌트가 엉뚱한 유형 힌트보다 높다 | 성립. +23.3%p(+14.4~+33.3)입니다. |
| H3. 해석기 결과 5턴이 "다시 확인하라" 5턴보다 높다 | 성립. +8.9%p(+1.1~+17.8)입니다. 다만 McNemar 검정은 p = 0.077입니다. |
| H4. 논문 전체 방식이 힌트 없음보다 높다 | 성립. +18.9%p(+11.1~+27.8)입니다. |
| Q. qwen3:4b의 힌트 없음 정답률은 10% 미만이다 | 성립. 2/90(2.2%)입니다. |
가설 밖에서 보인 것 (탐색)
- 도움은 주로 해석기 피드백에서 왔습니다. 힌트 없이 해석기 결과만 보여 줘도 59개에서 71개로 늘었습니다. 5턴 실행이 고친 12개는 틀린 값 6개, 무한대로 발산하는 정식화 3개, 실행 불가능한 정식화 1개, JSON을 읽지 못한 경우 2개였고, 첫 턴에 맞던 답이 마지막에 틀린 경우는 없었습니다. "다시 확인하라"만 줬을 때는 4개만 고쳤습니다.
- 힌트는 내용에 따라 돕기도, 해치기도 했습니다. 대출 한도 배분은 실수를 짚는 힌트로 15개 중 1개에서 10개로 올랐습니다. 반대로 포트폴리오는 정답 유형 힌트와 분류 후 힌트에서 모두 15개에서 11개로 떨어졌습니다. "변수를 비중(0~1)으로 두면 목적함수 계수는 운용 자금 x 수익률(소수)이다"라는 힌트를 받은 뒤 틀린 8개 가운데 4개는 JSON에
5000 * 0.108같은 계산식을 그대로 써서 읽을 수 없었고, 3개는 곱셈을 조금 틀렸고(510 대신 509.99 등), 1개는 단위를 1,000배 틀렸습니다. 엉뚱한 유형 힌트에서는 포트폴리오가 15개 중 2개였습니다. - 분류는 문제가 아니었습니다. Haiku는 90개 유형을 모두 맞혔습니다. 그래서 "정답 유형 힌트"(67)와 "분류 후 힌트"(65)는 같은 프롬프트입니다. 그런데도 12문제에서 결과가 갈렸습니다(정답 유형 힌트에서만 맞힌 것 7개, 분류 후 힌트에서만 맞힌 것 5개). 샘플링에서 오는 실행 간 변동이 이 정도라는 뜻입니다.
- 단기 자금 조달은 끝까지 어려웠습니다. 힌트 없이 0/15, 가장 좋은 조건에서도 5/15였습니다. 목적함수가 무한대로 발산하는 답이 많았습니다. 힌트가 없을 때 발산한 5개는 모두 장기 차입 원금을 목적함수에서 빼먹어 빌릴수록 이득인 것처럼 됐습니다. 힌트를 받았을 때(정답 유형·분류 후·모든 유형) 발산한 24개는 모두 원금을 목적함수에 넣었고, 그중 21개는 분기 이자를 반대 부호로 넣어 이자를 낼수록 현금이 느는 식이 됐습니다. 나머지 3개는 한 분기의 현금 등식을 빼먹거나 상환을 유입으로 넣었습니다.
- 4B 로컬 모델은 이 일을 하지 못했습니다. qwen3:4b는 힌트 없음 2/90, 정답 유형 힌트 7/90, 분류 후 힌트 7/90, 해석기 결과 5턴 2/90, 논문 전체 방식 7/90이었고, 맞힌 문제는 모두 자본예산이었습니다. 해석기 결과를 보여 줘도 틀린 답을 하나도 고치지 못했습니다. 힌트 없이 읽을 수 없는 답 27개 중 25개는 선언하지 않은 변수를 목적함수에 쓴 경우였고, 그 밖에 8개는 해석기가 "실행 불가능하거나 무한대"로만 보고한 차입 문제였습니다.
한계와 실행 중에 생긴 일
- 테스트 90문제, 조건마다 실행 한 번입니다. Haiku는 샘플링을 고정할 수 없어 다시 돌리면 결과가 달라집니다. 같은 프롬프트로 두 번 돌린 조건에서 12문제의 결과가 갈렸습니다.
- 힌트를 쓴 사람이 문제와 함정도 만들었습니다. 엉뚱한 유형 힌트 대조군은 "글이 길어져서 좋아진 것"을 배제할 뿐, 이 유리함은 배제하지 못합니다.
- 판정 기준이 엄격해 구조가 맞아도 숫자가 조금 틀리면 틀린 답입니다. 최적값에서 0.1% 안쪽으로 빗나간 답은 4개(정답 유형 힌트 2, 모든 유형 힌트 1, 해석기 결과 5턴 1)였고, 3개는 곱셈을 조금 틀렸고 1개는 우변을 반올림했습니다.
- qwen3:4b가 개발 문제 30개에서 거의 맞히지 못하자 테스트 전에 문제를 쉽게 고쳤습니다. 차입 문제는 4분기에서 3분기로 줄이고 이자 내는 시점을 적었고, 채권 문제는 채권별 현금흐름을 표로 주고 남은 현금을 늘 재투자할 수 있게 했고(전에는 재투자를 막은 문제가 있어 최적값이 몇 배 높았습니다), 자산 이름은 라틴 문자로 바꿨습니다. 포트폴리오의 현금 보유 함정은 0.5% 기준을 한 번도 통과하지 못해 실제 문제에는 없고, 그 힌트는 어떤 문제에도 해당하지 않습니다. qwen3:4b는 thinking을 켜면 5개 중 4개에서 6,144토큰을 생각만 하다 끝났고, 일반 JSON 모드에서는 공백을 반복하다 Ollama가 답을 끊어 JSON 스키마로 출력을 제한했습니다.
- 논문은 모델을 학습시켰고(약 200개 힌트, 53개 유형), 공개 영어 벤치마크를 썼고, Gurobi 코드를 실행했습니다. 여기서는 학습 없이 추론 단계만, 합성 한국어 문제와 JSON 정식화로 봤습니다.
정리하면, 학습 없이 추론 단계만 쓸 때 싼 모델(Haiku 5.5)에 가장 확실하게 도움이 된 것은 해석기 결과를 보며 고치게 하는 것이었습니다. 유형 힌트는 실수를 정확히 짚을 때 크게 도왔지만, 계산 방법을 알려 주는 힌트는 JSON에 계산식을 쓰거나 곱셈을 틀리는 실수를 불렀고, 엉뚱한 힌트는 크게 해쳤습니다. 4B 로컬 모델은 thinking 없이 이런 정식화를 해내지 못했습니다.