📝 내용 정리

‘바이브 코딩’의 창시자 안드레이 카르파시 유레카랩스 CEO가 ‘대형언어모델 위원회 (LLM Council)’이라는 시스템을 구축했다. 여러 모델이 쿼리에 대한 답변을 서로 평가하는 일종의 ‘오케스트레이션’ 도구인데, 여기에서는 각 모델의 상대 평가 내용이 관심을 끌었다.

주말에 바이브코딩으로 완성했다고 밝힌 이 앱은 “LLM과 책을 읽는 과정에서 여러 LLM을 나란히 살펴보고 평가하고 싶었기 때문에 99% 바이브 코딩으로 제작했다”고 말했다.

사용자 인터페이스는 ‘챗GPT’와 비슷해보이지만, 여기에는 프론티어급 모델 4개가 통합되어있다. → ‘GPT-5.1’, ‘제미나이 3 프로’, ‘클로드 소네트 4.5’, ‘그록-4’

질문은 오픈 라우터를 거쳐 각 모델에게 전달, 각자 익명화된 답을 내놓는다. 모델들은 이렇게 나온 상대의 답을 검토하고 비교해 순위를 매긴다.

마지막으로 의장역할을 하는 LLM이 모든 내용의 맥락을 파악, 최종 응답을 생성하는 식

모델들이 다른 모델을 평가한 내용이 눈길을 끌었는데, 카르파시 CEO는 “같은 쿼리에 대해 여러 모델의 결과를 나란히 보는 것도 흥미롭고, 더 재미있는 점은 서로의 응답에 대한 평가와 우선순위를 읽는 것”이라고 밝혔다.

특히 “모델들은 종종 다른 LLM의 응답을 자신의 응답보다 우수하다고 선택하는 놀라운 경향을 보이는데, 이는 더 일반적으로 흥미로운 모델 평가 전략이 된다”라고 강조했다.

그 예로, LLM 위원회에 여러장의 책을 입력하고 내부 의사 결정과정을 지켜봤떠니, 모델들은 GPT-5.1을 최조이가 가장 통찰력 있는 모델로 꾸준히 칭찬했다는 것이다. 최악으로 꼽힌 것은 클로드 소네트 4.5였고, 나머지 두 모델은 중간 평가를 받았다.

카르파시는 이번 결과가 본인의 주관적인 평가와 일치하지 않는다며, 다른 모델들을 분석했다.

이번 개발은 단순한 재미 때문이었으며, 앞으로 수정하거나 지원할 생각은 없다고 밝혔다.

“코드는 이제 일시적이고 라이브러리는 끝났다”라며, 앞으로는 바이브코딩을 통해 이런 식의 일회성 앱과 다른 모델을 빌려다 쓰는 구조가 흔해질것을 예고했다.

벤처비트는 이번 사례가 최근의 개발 흐름을 보여주는 것으로 평가했다.

기업들은 전통적으로 복잡한 내부 라이브러리를 구축하고 유지해왔으며 소프트웨어 개발에 많은 역량을 투입해왔다. 그러나, 카르파시는 주말 바이브코딩을 통해 일회성 맞춤형 앱을 만들어냈다.

이는 비싸고 융통성 없는 소프트웨어제품군을 구매하는 것이 합리적일지, 아니면 엔지니어들에게 훨씬 적은 비용으로 맞춤형 도구를 개발하는 것이 더 유리할지를 고민하게 한다는 것이다.

또 LLM 평가가 자신과 일치하지 않는다고 밝힌 데에 대해서는 “LLM 판정 시스템 (LLM-as-a-Judge)”이 인간의 수요와 목적에 진정으로 적합한것인지를 생각해보게 한다는 것이다.

🧠 생각 정리

LLM에게 다른 역할을 부여해서 하는 시스템은 봤지만, 다른 LLM에 모델에게 회의하라고 하는 시스템은 처음보는 것 같아서 가져오게 되었습니다. 모델들이 서로를 어떻게 평가하는지를 알아볼 수 있는 기사였습니다. 이로써 모델들이 다 다른 본인만의 특성을 가진다는 것을 다시 한 번 확인할 수 있었고, 더욱이 필요에 따라 적절한 LLM을 사용하는 것도 이제는 필수적이지 않을까 하는 생각도 듭니다.

이 기사에서 가장 중요하게 봐야할 것은 벤처비트가 바라보는 최근의 개발 흐름인것 같습니다. 앞으로 개발이 어떤 식으로 흘러갈지 다시 한 번 생각해보게하는 분석이었습니다.

마지막으로 LLM-as-a-Judge 방법을 최근에 많이 사용하고있는 것 같은데, 그게 사람을 잘 반영하지 못한다면 과연 그게 적합한 것일지 하는 생각이 듭니다. 여러분은 LLM-as-a-Judge에 대해 어떻게 생각하시나요 ?