안드레 카파시의 LLM Wiki 개념(https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f)을 보고 개인적으로 스크랩하고 있는 신문 기사를 중심으로 몇달 간 돌려보고 있습니다. LLM한테 그때그때 모은 문서를 던져 주면 서로 연결된 위키로 정리하고, 문서를 하나 넣어도 관련 페이지들이 모두 같이 갱신되게 하는 방식입니다.
LLM Wiki Newsroom (MIT): GitHub - alfadur7/llm-wiki-newsroom: An LLM-maintained knowledge wiki run by a multi-agent "newsroom" — local-first, API-key-free, a structured alternative to RAG. · GitHub
원본의 3계층 구조(raw → wiki → schema)랑 ingest/query/lint 흐름은 그대로 가져왔고, "정리하고 기록하는 게 제일 손 많이 가는 부분"이라는 생각에서 에이전트를 만능 비서 하나가 아니라 신문사 편집국처럼 기자·논설위원·데스크·교열·편집국장 5개 역할로 쪼갰습니다.
개인적으로 제일 쓸만했던 건 글 쓰는 에이전트랑 검수하는 에이전트를 아예 다른 인스턴스로 나눈 부분입니다. 기자(reporter)가 소스랑 엔티티 초안을 잡고 논설위원(columnist)이 교차 분석을 쓰면, 데스크(desk)라는 별도 에이전트가 그 글을 처음 보듯이 다시 읽고 문제점만 뽑아서 돌려줍니다. 한 모델이 자기가 쓴 걸 자기가 채점하면 대충 통과시키는 경향이 있는데, 분리하니까 그게 꽤 줄더라고요. 최종 게시 전 두 관문을 거치는데, 하나는 교열이 보는 결정론적 lint(링크·인용·구조, 파이썬)고 다른 하나는 데스크의 정성 리뷰(편집 루브릭 기반)입니다. 둘 다 통과해야 넘어가고, 전체적인 조율 및 게시 결정은 편집국장이 맡습니다.
아직 실험 중인 부분인데, 같은 리뷰 실패가 반복되면 개별 케이스만 고치는 게 아니라 작성 규칙 자체를 고치는 제안을 만들고 블라인드 A/B랑 회귀셋을 통과할 때만 반영하게 해놨습니다. Self-Harness([2606.09498] Self-Harness: Harnesses That Improve Themselves)나 MS SkillOpt (GitHub - microsoft/SkillOpt: SkillOpt is a text-space optimizer that trains reusable natural-language skills for frozen LLM agents through trajectory-driven edits, validation-gated updates, and deployable best_skill.md artifacts. · GitHub)에서 아이디어를 가져왔는데, 효과가 실제로 있는지 지켜보는 중입니다.
그 외에 연쇄 갱신(문서 1개에 10~15페이지 변경), 모순 추적, Leiden 클러스터링 지식그래프랑 브라우저, Memex식 트레일 같은 게 들어가 있습니다.
본문이랑 프론트매터를 한국어로 운영하는 WIKI_LANG=ko 모드가 있고, 그래프 빌드나 lint, 검색용 파이썬 도구는 전부 로컬에서 돌아서 API 키가 필요 없습니다(검색은 QMD 온디바이스). 위키를 굴리는 에이전트 자체는 Claude Code 기준이고, Codex나 Gemini에선 기본 기능만 됩니다. 결과물은 그냥 마크다운이라 Obsidian이나 Git으로 그대로 봅니다.
저장소엔 전체 흐름을 끝까지 따라갈 수 있게 15노드짜리 예시(오픈소스 AI 정의 논쟁)를 넣어놨고, 프레임워크 자체는 주제를 가리지는 않습니다. 위 스크린샷은 제가 개인적으로 관리하는 비공개 인스턴스(~2,300노드, 한국어 모드)를 캡처한 것입니다.
혹시 멀티에이전트로 비슷한 거 돌려보신 분 있으면, 작성이랑 검수를 굳이 인스턴스까지 나눌 가치가 있는지 아니면 한 에이전트한테 self-critique 시키는 걸로 충분한지 의견이 궁금합니다.