원문 제목: AI 판사가 어떻게 예측 시장을 확대할 수 있는가: 블록체인에 LLM을 잠금하는 경우 해결을 위한 근거
원문 작성자: Andrew Hall, a16zcrypto
번역: Peggy, BlockBeats

편집자 주: 예측 시장의 가치는 "베팅"에 있지 않고 신뢰할 수 있는 가격 신호를 지속적으로 제공할 수 있는지에 있습니다. 그러나 거래 규모가 커짐에 따라 가장 간과되기 쉽지만 가장 치명적인 병목 현상이 드러나고 있습니다: 계약을 어떻게 해결할 것인가. 베네수엘라 대통령 선거의 결과가 실제인지 가짜인지 알 수 없을 정도로 정확하지 않았던 것부터 지도, 웹사이트 업데이트, 토큰 투표로 인한 조작 및 이해관계 충돌에 이르기까지 논쟁은 종종 예측 자체가 아닌 "누가 판결할 것인지"에서 발생합니다.

이 글의 저자 Andrew Hall(@ahall_research)은 더 강력한 접근 방식을 제안합니다: 특정 버전의 대형 모델과 힌트를 블록체인에 기록하여 AI가 감사 가능하고 예측 가능한 심판 메커니즘으로 작동하도록하여 사람 중심 주도 및 게임 이론을 대체합니다. 완벽하지는 않지만 예측 시장이 규모에 맞게 발전하기 위해 꼭 거쳐야 할 장벽일 수 있습니다.

아래는 원문입니다:

작년 베네수엘라 대통령 선거 결과가 예측 시장에서 600만 달러 이상의 계약 거래량을 유발했습니다. 그러나 투표가 집계된 후 시장은 실제 해결이 거의 불가능한 상황에 빠졌습니다: 정부는 니콜라스 마두로가 당선되었다고 발표했지만 반대파와 국제 감시관은 선거 부정을 주장했습니다. 그렇다면 예측 시장 계약의 해결은 공식 정보(마두로 당선)에 따라 이뤄져야 할까요, 아니면 신뢰할 수 있는 보도의 공감(반대파 우승)에 따라 이뤄져야 할까요?

이 베네수엘라 선거 사례에서, 옵저버들의 주장은 다양했습니다: 규칙이 무시된다고 생각하거나 참가자가 "돈을 훔졌다"고 생각하거나 분쟁 계약 처리에 사용된 프로토콜을 "판사, 배심원 및 도둑"이라고 설명하는 고위험 정치 연극이라고 묘사하는 사람도 있었으며, 일부는 그것을 "심각하게 조작당했다"고 직접 언급했습니다.

이것은 고립된 예기치 않은 사건이 아니라 저는 예측 시장의 확장 과정에서 반복해서 나타날 증상이자 아마도 가장 큰 병목 중 하나인 계약 해결(contract resolution)입니다.

이곳에서 이해 관계는 매우 큽니다. 해결을 제대로 처리하면 사람들이 당신의 시장을 신뢰하고 그 안에서 거래할 의사가 생길 것이며, 가격은 사회에 의미 있는 시그널이 될 것입니다. 그러나 해결을 잘못하면 거래 경험은 실망스럽고 예측할 수 없게 될 것입니다. 참가자들은 천천히 떠날 수 있고 유동성이 탈진하고 가격은 더 이상 "안정된 목표"에 대한 정확한 예측이 아닌 "왜곡된 해결 메커니즘이 최종적으로 어떻게 판단할 것인지"에 대한 거래자의 판단을 반영하기 시작할 것입니다.

베네수엘라의 논란은 높은 노출을 받았지만 각 플랫폼에서 더 숨겨진 실패가 실제로 자주 발생합니다:

우크라이나 지도 조작 사건은 공격자가 결제 메커니즘을 직접 “조작”할 수 있다는 것을 보여줍니다. 온라인 지도를 기준으로 한 영토 통제에 관한 계약에 따르면 결제가 이루어집니다. 어떤 사람이 이 지도를 편집하여 계약의 최종 결과에 영향을 미쳤다는 주장이 있습니다. “진실의 근원”이 조작될 수 있는 경우, 귀하의 시장도 조작당할 수 있습니다.

정부 폐쇄 계약 사건에 따르면, 결제 정보원이 부정확하거나 적어도 예측할 수 없는 결과를 초래할 수 있습니다. 이 계약에 따르면 시장은 미국 인사 관리국 (OPM) 웹사이트에서 “폐쇄 종료” 시간을 기준으로 합니다. 트럼프 대통령은 11월 12일에 예산안을 서명했지만 어떤 이유로 OPM 웹사이트는 11월 13일까지 업데이트되지 않았습니다. 폐쇄가 12일에 종료될 것으로 정확히 예측한 거래자들은 웹사이트 관리자의 지연으로 인해 최종적으로 패배했습니다.

제레미 양복 시장은 이해관계 충돌에 대한 우려를 불러일으켰습니다. 계약은 우크라이나 대통령 제레미양이 어떤 행사에서 양복을 입을지에 관한 것인데, 이는 보잘것없어 보이지만 20억 달러 이상의 베팅을 유치했습니다. 제레미양이 북대서양조약기구 정상회의에 참석하여 BBC, 뉴욕 포스트 등 언론에서 “양복”으로 지적한 의상을 입었을 때, 시장 초기에는 “예”로 결제되었습니다. 그러나 후에 UMA 토큰 소유자들이 결과에 이의를 제기하여 결제가 “아니오”로 바뀌었습니다.

본문에서는 LLM(언어 모델)을 암호 기술과 스마트하게 결합하여 확장 가능한 예측 시장 결제 방식을 만들 수 있는지 탐구할 것입니다. 이 방식은 조작이 어렵고 정확하며 완전히 투명하며 신뢰할 수 있고 중립적이어야 합니다.

예측 시장에만 해당되는 문제가 아닙니다

이와 유사한 문제가 금융 시장을 괴롭혔습니다. ISDA(International Swaps and Derivatives Association)는 신용파산 스왑(CDS) 시장에서 “결제/인정” 문제에 대해 오랫동안 논의해왔습니다. 이러한 계약은 기업이나 국가가 부도를 선언할 때 보상금을 지불합니다. ISDA는 2024년의 검토 보고서에서 이러한 문제에 대해 매우 솔직했습니다. 그들의 “인정 위원회”는 주요 시장 참가자로 구성되어 “신용 사건”이 발생했는지를 판단하기 위해 투표합니다. 그러나 이 프로세스는 불투명하고 이해관계 충돌이 있을 수 있으며 일관성 없는 결과가 나타날 수 있다는 비판을 받아왔으며, 이는 UMA의 프로세스와 매우 유사합니다.

근본적인 문제는 동일합니다: 거대한 자금이 어려운 사건에 대한 인정에 따라 “무엇이 실제로 일어났는지”에 의존할 때, 어떤 결제 메커니즘도 게임과 공격의 대상이 될 것이며, 어떤 모호함이라도 충돌의 발작점이 될 수 있습니다.

그렇다면, 좋은 결제 메커니즘은 어떻게 보일까요?

좋은 솔루션의 갖춰야 할 특성

실행 가능한 모든 솔루션은 몇 가지 주요 특성을 동시에 충족해야합니다:

조작 방지
만약 공격자가 위키백과를 편집하거나 가짜 뉴스를 유포하거나 오라클을 뇌물로 사주하거나 프로그램 취약점을 악용해 결제에 영향을 미치는 경우, 시장은 "누가 가장 조작을 잘 하는가"가 되어 "누가 가장 잘 예측하는가" 가 아닌 게임이 될 것입니다.

합리적인 정확성
메커니즘은 대부분의 상황에서, 대부분의 시간에 올바른 결제를 제공해야 합니다. 세상은 원래 모호함이 있으므로 절대적인 정확성은 불가능하지만 체계적인 편향이나 명백한 오류는 신뢰를 완전히 파괴할 수 있습니다.

사전 투명성
거래 참여자는 내기하기 전에 결제 방식을 명확히 알아야합니다. 계약이 진행되는 도중 규칙을 변경하는 것은 플랫폼과 참여자 간의 가장 기본적인 계약을 파괴하는 것과 같습니다.

신뢰할 수 있는 중립성
참여자들은 메커니즘이 어떤 거래자나 결과에 편견을 갖지 않을 것이라 믿어야 합니다. 따라서 UMA 토큰을 가진 사람이 자신의 베팅 계약을 심판하는 데는 왜곡이 있을 수 있음을 이해하는 것 역시 중요합니다. 비록 그들이 공정하게 할지라도, 이해 관계의 "얼굴이론"만으로도 신뢰가 약화될 수 있습니다.

인간 위원회는 일부 특성에는 적합할 수 있지만, 다른 측면에서는 어려울 수 있습니다. 특히 규모에 따른 조작 방지 및 신뢰할 수 있는 중립성이 어려울 수 있습니다. UMA와 같은 토큰 투표 시스템은 "고래 지배" 및 이해 관계 충돌과 같은 이미 다루어진 문제들이 존재합니다.

여기에 AI가 개입할 수 있는 이유가 있습니다.

왜 LLM을 심판으로 사용하는가

예측 시장 커뮤니티에서, 점점 더 주목받는 제안 중 하나는: 대형 언어 모델이 결제 "심판"으로 작동하도록하고, 계약이 생성될 때 구체적인 모델 및 프롬프트가 블록체인에 고정되도록 하는 것입니다.

기본 아키텍처는 다음과 같습니다: 계약이 생성될 때, 메이커는 결제 기준을 자연어로 작성할뿐만 아니라 결과를 판정하는 데 사용될 LLM(타임스탬프가 있는 모델 버전) 및 입력할 위치를 명확히 지정해야합니다.

이 규정은 암호화 방식으로 제출되어 체인에 바인딩됩니다. 거래가 시작되면 참여자는 전체 결제 메커니즘을 검사할 수 있습니다 - 어느 AI 모델이 심판으로 작용하며 어떤 프롬프트를 받는지, 어떤 정보에 액세스할 수 있는지를 명확히 알 수 있습니다.

그들이 이 설정을 인정하지 않으면 거래에 참여하지 않습니다. 정산 시에는 이미 약속된 LLM이 약속된 프롬프트로 실행되어 지정된 정보 원본에 액세스하고 판정 출력을 제공합니다. 이 출력은 보상을 받을 사람을 직접 결정합니다.

이 방법은 여러 핵심 제약 조건을 동시에 충족할 수 있습니다:

강력한 조작 방지(절대적이지는 않음)
위키백과 페이지나 소규모 뉴스 사이트와는 달리 주류 LLM 출력을 "수정"하는 것은 쉽지 않습니다. 모델 가중치는 약속 당시에 이미 고정되어 있습니다. 정산을 조작하려면 공격자는 모델이 의존하는 정보 원본을 손상시키거나 모델 교육 데이터를 미리 조작해야 합니다. 오라클을 뇌물하는 것이나 지도를 편집하는 것보다 이러한 공격의 비용이 더 높으며 결과도 더 불확실합니다.

더 높은 정확성
추론형 모델 능력이 빠르게 향상되고 인터넷을 통해 정보를 검색하고 증거를 보충할 수 있는 경우, LLM 심판은 많은 시장을 정확하게 판단해야 합니다. 정확성에 관한 실험도 계속 진행 중입니다.

내장 투명성
누구도 베팅하기 전에 전체 정산 메커니즘을 볼 수 있고 감사할 수 있습니다. 규칙을 중간에 변경하지 않으며 "자유 재량" 판단이나 뒷광고 협상이 없습니다. 참여자는 자신이 서명한 것이 무엇인지 명확히 알고 있습니다.

중립성 신뢰성 크게 향상
LLM은 정산 결과와 경제적 이해 관계가 없으며 뇌물을 받거나 UMA 토큰을 보유하지 않습니다. 그것이 편파적이면 모델 자체 특성 때문이며 이해 관계자가 임시 판단을 내린 결과가 아닙니다.

물론, LLM 심판에도 제한이 있으며 아래에서 자세히 설명하겠습니다.

LLM 심판의 한계

모델이 오류를 범할 수 있음
LLM은 뉴스를 잘못 읽거나 사실을 조작하거나 유사한 사례에서 일관성 없는 판단 논리를 사용할 수 있습니다. 그러나 거래자가 거래 전에 자신이 어떤 모델에 베팅하는지 알 수 있다면 이러한 "결함"을 가격에 반영할 수 있습니다. 특정 모델이 모호한 상황을 처리할 때 명확한 성향을 가질 경우 성숙한 거래자는 전략을 조정할 것입니다. 모델은 완벽할 필요는 없으며 예측 가능성이 필요합니다.

조작은 불가능하진 않지만 더 어려워짐
프롬프트에서 특정 뉴스 소스가 지정된 경우, 공격자는 해당 뉴스 소스에 "피해"를 줄 수 있습니다. 대형 미디어에서는 비용이 매우 높지만 소규모 미디어에서는 실행 가능할 수도 있습니다. 이는 "지도 편집" 문제를 다른 방식으로 재현할 수 있습니다. 따라서 프롬프트 디자인이 매우 중요합니다: 단일 정보 원본보다는 다중 및 중복 정보에 의존하는 메커니즘이 단단합니다.

포이즌 테스트는 이론적으로 존재합니다
충분한 자원을 보유한 적대자는 훈련 데이터에 영향을 미쳐 미래의 판사 결정을 편향시키려고 할 수 있습니다. 그러나 이는 계약이 출현하기 전에 이론대로 조치를 취하고, 보상이 불확실하며 비용이 막대할 것이기 때문에, 어떤 위원회 구성원을 뇌물로 사면하는 것보다 훨씬 높은 진입 장벽을 요구합니다.

LLM 심판의 다양성은 조정 문제를 야기할 수 있습니다
서로 다른 시장 창조자들이 서로 다른 모델과 프롬프트를 공약한다면, 유동성이 파편화될 것입니다. 거래자들은 계약을 수평적으로 비교하기 어렵고 시장 간 정보를 종합하기 어렵게 됩니다. 표준화는 가치가 있지만, 시장이 실패를 맞고 최적의 LLM+프롬프트 조합을 찾는 것도 가치가 있습니다. 합리적인 접근 방법은 두 가지를 결합하는 것일 수 있습니다: 실험을 허용하되, 동시에 검증된 기본 솔루션으로 커뮤니티가 단계적으로 수렴할 수 있도록 하는 메커니즘을 구축하는 것입니다.

빌더의 실행 방안은 무엇인가요?

요약하자면: AI 결제는 본질적으로 문제 세트(인간의 선입견, 이해관계 충돌, 비투명성)를 다른 문제 세트(모델 능력의 제한, 프롬프트 엔지니어링 어려움, 정보원 취약성)로 교체하는 것입니다. 그러나 후자는 더욱 통제 가능하고 공학화할 수 있습니다. 그렇다면, 다음 단계는 무엇일까요? 플랫폼은 다음을 해야 합니다:

저위험 계약에서 먼저 실험하기
저위험 시장에서 LLM 결제를 테스트하고 성적을 기록하세요. 어떤 모델이 가장 잘 수행되나요? 어떤 프롬프트 구조가 더 견고한가요? 어떤 결함 양상이 나타날 것으로 예상되나요?

표준화를 촉진하기
최선의 실천법이 서서히 드러나면, 커뮤니티는 기본적인 LLM+프롬프트 조합으로서의 기준을 설정해야 합니다. 이것은 혁신을 막지 않지만, 유동성을 '모두가 규칙을 이해하는' 시장으로 집중시킬 수 있습니다.

투명한 도구 개발
예를 들어 인터페이스를 개발하여 거래자들이 베팅하기 전에 결제 메커니즘 전체를 쉽게 확인할 수 있도록 합니다—모델, 프롬프트, 정보원을 포함합니다. 결제 규칙은 장황한 규정에 숨겨지지 않아야 합니다.

지속적인 거버넌스
AI 심판을 도입하더라도, 인간은 여전히 '메타 의사결정'을 내려야 합니다: 어떤 모델이 신뢰할 만한가요? 모델이 명백한 잘못된 답변을 줄 때 어떻게 처리해야 하나요? 기본 솔루션이 언제 업데이트되어야 하나요? 목표는 인간을 완전히 시스템 밖으로 내쫓는 것이 아니라, 인간을 일시적이고 사건별 판결에서 멀리하고 체계적인 규칙 제정으로 이동하는 것입니다.

예측 시장은 매우 큰 잠재력을 가지고 있으며, 우리에게 소란스러우면서도 복잡한 세상을 이해하는 데 도움을 줄 수 있습니다. 그러나 이러한 잠재력은 신뢰에 의존하며, 신뢰는 공정한 계약 결제에 의존합니다. 우리는 이미 결제 메커니즘이 실패했을 때 어떤 일이 벌어지는지 보았습니다: 혼란, 분노, 거래자의 이탈. 몇몇 사람이 그들이 베팅한 정신과는 다른 결과 때문에 속았다고 느껴 곧바로 분노하고 이탈했던 경우를 보았습니다. 이들은 그들이 예측 시장을 사랑했던 곳임에도 불구하고, 더는 이러한 플랫폼을 다시 이용하지 않게 되었습니다. 이로 인해 우리는 예측 시장의 가치를 발휘하고 보다 넓은 응용 분야로 확장하는 기회를 상실한 것입니다.

LLM 판례는 완벽하지 않습니다. 그러나 암호 기술과 결합될 때, 그것은 투명하고 중립적이며 인간 중심 시스템을 오랫동안 괴롭혀 온 조작 수단에 대항할 수 있습니다. 예측 시장이 제도 체계 개선보다 빠르게 확장되는 시대에, 아마도 이것이 우리가 필요로 하는 것일지도 모릅니다.

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia