a16z: 시장 성장 폭발을 예측하는 핵심 요소는 무엇인가요?
오리지널 제목: How AI judges can scale prediction markets: The case for locking LLMs into the blockchain to resolve the hardest contracts
오리지널 작성자: Andrew Hall, a16z
번역 작성자: 가환, ChainCatcher
작년에는 베네수엘라 대통령 선거 결과 예측 시장 거래량이 600만 달러를 웃돌았습니다. 그러나 투표가 종료되면 시장은 불가능한 상황에 직면했습니다: 정부가 니콜라스 마두로의 승리를 선언했으며, 야당과 국제 감시단은 부정행위를 비판했습니다. 예측 시장의 판정은 '공식 정보' (마두로 승리)를 따라야 할까요, 아니면 '신뢰할 만한 보도의 합의' (야당 승리)를 따라야 할까요?
베네수엘라 선거 사례에서 감시단들의 비난은 점점 더 강해지고 있습니다: 그들은 먼저 규칙 무시를 비난하고, 사용자 자금이 '도둑맞은' 것으로 비난했습니다. 이어서 그 판정 메커니즘이 이번 정치 게임에서 독단적인 권한을 행사했다며 규탄했으며, '판사, 배심원 및 집행자'를 한 자에 모은다는 것을 강하게 비판했으며, 심지어 그것이 심각하게 조작당했음을 밝혔습니다.
이것은 고립된 사소한 사건이 아닙니다. 이것은 저에게 있어서 예측 시장이 확장 중에 직면한 가장 큰 병적 중 하나로 생각하는 합의 결정입니다.
여기에는 매우 높은 위험이 따릅니다. 판정이 제대로 처리된다면 사람들은 귀하의 시장을 신뢰하고 거래하려고 할 것이며, 가격은 사회에게 의미 있는 신호가 될 것입니다. 그러나 판정이 부적절하게 처리된다면 거래는 실망스럽고 예측 불가능하게 느껴질 것입니다. 참가자들은 이탈할 수 있으며, 유동성이 고갈 위험에 직면할 것이며, 가격은 더는 안정적인 목표를 예측하는 것을 반영하지 않게 될 것입니다. 그 대신에, 가격은 실제 발생 가능성과 왜곡된 결정 메커니즘이 어떻게 판단할 것인지에 대한 거래자들의 믿음을 모두 포함한 혼합물을 반영하기 시작합니다.
베네수엘라의 논란은 비교적 높은 음영을 가지고 있지만, 다른 플랫폼들에서는 더 가려운 사례가 종종 발생합니다:
· 우크라이나 지도 조작 사건은 상대방이 게임 판정 메커니즘을 통해 직접 이익을 얻는 방법을 보여주었습니다. 특정 온라인 지도에 따라 영토 통제권에 관한 계약을 정하고 있었으며, 이 지도를 수정하여 계약 결과에 영향을 미쳤다고 합니다. '진실의 근원'이 조작될 수 있는 상황에서는 귀하의 시장도 조작될 수 있습니다.
· 정부 셧다운 계약은 판정 소스가 정확하지 않거나 적어도 예측할 수 없는 결과로 이끌 수 있다는 방법을 보여주었습니다. 판정 규칙에 따르면, 시장은 미국 직원 관리국 웹사이트에서 셧다운 종료 시간에 따라 보상될 것입니다. 트럼프 대통령이 11월 12일에 예산 법률을 서명했지만, 웹사이트 관리자들의 이유로 OPM 웹사이트는 11월 13일까지 업데이트되지 않았습니다. 셧다운이 12일에 끝날 것으로 정확히 예측한 거래자들은 웹사이트 관리자의 지연으로 인해 내기에서 지게 되었습니다.
· 제레미 서키 수트 시장은 이해관계 충돌에 대한 우려를 불러일으켰습니다. 이 계약은 우크라이나 대통령 제레미 셰퍼드가 특정 행사에서 정장을 입을 것인지 여부에 대한 질문을 제기했는데, 이는 사소한 문제처럼 보였지만 20억 달러 이상의 베팅을 유치했습니다. 제레미가 BBC, 뉴욕 포스트 등에서 정장으로 묘사된 의복을 입고 북대서양 조약 기구 정상회의에 참석했을 때, 시장은 처음에 “예”로 결정했습니다. 그러나 UMA 토큰 보유자들은 결과에 이의를 제기하여 결정은 나중에 “아니오”로 뒤바뀌었습니다.
본문에서는 대형 언어 모델(LLM)과 암호 기술을 미술적으로 결합하여 조작이 어려우며 정확하고 완전히 투명하며 신속한 예측 시장의 대규모 결정 방식을 만드는 방법을 탐구하겠습니다.
난제는 예측 시장 뿐만이 아닙니다
이와 유사한 문제는 금융 시장에서도 계속해서 나타나고 있습니다. 여러 해 동안 국제 파생 상품 및 스왑 협회(ISDA)는 신용 파산 스왑(CDS) 시장의 판단 문제와 놀이하고 있습니다. CDS는 기업이나 국가의 부도 시 보상하는 계약입니다. 그들의 2024년 검토 보고서는 이러한 난제에 대해 솔직한 반성을 담고 있습니다. 그들의 결정 위원회는 주요 시장 참가자로 구성되어 있으며 신용 사건이 발생했는지 여부를 투표로 결정합니다. 그러나 이 프로세스는 불투명하고 이해관계 충돌이 있으며 결과가 일관성이 없다는 점에서 UMA의 프로세스와 같이 비판을 받고 있습니다.
근본적 문제는 동일합니다: 모호한 상황에 대한 판단이 큰 재정에 달려 있을 때마다 각 결정 메커니즘이 공략의 대상이 되며 각 모호한 점이 잠재적인 발작 지점이 됩니다.
이상적인 결정 솔루션의 네 가지 기둥
어떤 실행 가능한 해결책도 동시에 몇 가지 핵심 속성을 달성해야합니다:
1.조작 방지 기능
상대방이 결정에 영향을 미칠 수 있다면, 위키백과를 편집하거나 가짜 뉴스를 심어넣거나, 예언기를 뇌물로 이용하거나, 프로그램 결함을 악용하는 등, 시장은 예측하는 것이 아닌 조작하는 누가 더 잘하는지의 게임이 되어버립니다.
2.타당한 정확성
메커니즘은 대부분의 시간에 올바른 결정을 내려야합니다. 실제 모호한 세계에서는 완벽한 정확성은 불가능하지만 시스템적 오류나 명백한 실수는 신뢰를 파괴할 수 있습니다.
3.전 사 투명성
거래자는 베팅하기 전에 결정 과정을 명확히 이해해야합니다. 규칙을 중간에 변경하면 플랫폼과 참가자 간의 기본 계약이 위배됩니다.
4. 신뢰할 수 있는 중립성
참가자는 해당 메커니즘이 특정 거래자나 결과를 편향하지 않음을 믿어야 합니다. 이것이 UMA 토큰을 보유한 사람들이 그들이 베팅한 스마트 계약을 판단하는 것이 왜 문제가 되는지 설명합니다: 심지어 그들이 공정하게 행동하더라도 이해관계 충돌의 모습은 신뢰를 훼손할 수 있습니다.
인공 심사원은 이러한 속성 중 일부를 충족할 수 있지만, 규모화되면서 다른 몇 가지 측면을 달성하는 것은 어려울 수 있습니다. 특히 탈조 및 신뢰할 수 있는 중립성이 그렇습니다. UMA와 같은 토큰 기반 투표 시스템은 고래의 지배와 이해관계 충돌 측면에서도 자체적으로 충분히 문서화된 문제가 있습니다.
이것이 AI가 여기에서 착안점을 얻는 곳입니다.
LLM 판사를 지원하는 이유
이것은 예측 시장 공동체 내에서 주목받는 제안 중 하나입니다: 큰 언어 모델을 판사로 사용하고 스마트 계약을 생성함에 있어 특정 모델과 프롬프트 단어를 블록체인에 고정시키는 것
기본 아키텍처는 다음과 같습니다: 계약이 생성될 때, 농업자는 자연어로 판사 기준을 지정하는 것뿐만 아니라, 정확한 LLM(타임스탬프가 있는 모델 버전 식별)과 결과를 결정하는 데 사용되는 정확한 프롬프트 단어도 지정해야 합니다.
이 명세는 암호화되어 블록체인에 제출됩니다. 거래가 시작될 때, 참가자는 전체적인 판결 메커니즘을 검토할 수 있으며, 어떤 AI 모델이 결과를 판결할지, 어떤 프롬프트 단어를 받을지, 그리고 어떤 정보 원본에 액세스할 수 있는지를 정확하게 알게 됩니다.
그들이이 설정을 좋아하지 않는다면 거래하지 않습니다.
판단 시간에, 제출된 LLM은 제출된 프롬프트 단어를 활용하여 작동하고, 명시된 정보 원본에 접근하여 판결을 내립니다. 출력 결과는 보상을 받는 사람을 결정합니다.
이 접근 방식은 몇 가지 핵심적인 제약 조건을 동시에 해결합니다:
· 매우 강력한 조작 방지(절대적이지는 않음) 위키백과 페이지나 소규모 뉴스 사이트와는 달리, 주요 LLM의 출력을 쉽게 편집할 수 없습니다. 모델 가중치는 제출 시 고정됩니다. 결의를 조작하려면 상대편은 모델이 의존하는 정보 원본을 파괴하거나 모델의 훈련 데이터를 옛날에 어떤 방식으로든 해킹해야 합니다. 이 두 가지 공격 방식은 고가의 원가와 불확실성이 높은 상황이어야 합니다.
· 정확성 제공 추론 모델의 빠른 발전 및 놀라운 범위의 지적 작업을 수행할 수 있는 능력을 고려할 때, 특히 그들이 네트워크를 탐색하고 새로운 정보를 찾을 수 있는 경우, LLM 판사는 여러 시장을 정확하게 평가할 수 있어야 합니다. 그 정확성을 이해하는 실험이 진행 중입니다.
· 내재 투명성 누구도 베팅하기 전에 전체 결의 메커니즘이 보이고 감사 가능합니다. 중간에 규칙이 변경되거나 임시적인 직권 판단이나 비밀 회의가 없습니다. 당신은 정확히 어떤 것에 서명했는지 알고 있습니다.
· 신뢰할 수 있는 중립성 크게 향상 LLM 결과에서 경제적 이득이 없습니다. 매수할 수 없습니다. UMA 토큰을 소유하고 있지 않습니다. 그것의 편견은 모델 자체의 특성이며 이해 관련 스테이크 홀더에 의한 임시 결정의 특성이 아닙니다.
AI의 한계 및 방어 수단
· 모델은 실수를 할 수 있습니다 LLM은 때로는 뉴스 기사를 잘못 이해하거나 사실을 오해하거나 결의 기준을 일관되게 사용하지 못할 수 있습니다. 그러나 거래자가 자신들이 어떤 모델로 베팅하는지 알고 있다면 이러한 결함을 가겠를 수 있습니다. 특정 모델이 모호한 경우를 특정 방식으로 해결하기로 알려진 경우, 숙련된 거래자들은 이러한 점을 고려할 것입니다. 모델은 완벽할 필요가 없습니다. 예측 가능하면 됩니다.
· 조작이 불가능한 것은 아닙니다 만약 힌트 단어가 특정 뉴스 소스를 지정한다면, 상대방은 해당 소스에 이야기를 심을 수 있습니다. 이러한 공격은 주류 언론에게는 매우 비싸지만, 작은 미디어에게는 적용 가능합니다. 이것은 또 다른 지도 편집 문제의 형태입니다. 여기에서 힌트 단어의 설계가 매우 중요합니다: 다양한 출처 및 중복 출처에 의존하는 결의 메커니즘은 단일 장애 지점에 의존하는 것보다 견고합니다.
· 이론상 독자 공격은 가능합니다 충분한 자원을 보유한 적이 LLM의 훈련 데이터에 영향을 주어 그 이후의 판단을 편향시키려고 할 수 있습니다. 그러나 이것은 계약 이전에 수행해야 하며, 수익이 불확실하고 비용이 막대합니다.위원회 구성원을 뇌물로 주는 것보다 훨씬 높은 장벽입니다.
· LLM 판사의 확산은 조율 문제를 발생시킬 수 있습니다 서로 다른 시장 메이커가 서로 다른 LLM을 표방하여 유동성이 분산될 수 있습니다. 거래자는 계약을 비교하거나 시장 간 정보를 요약하기가 어려워집니다. 표준화는 가치가 있습니다 - 그러나 어떤 종류의 LLM이 힌트 단어 조합에 가장 적합한 효과를 내는지 시장이 발견하도록 하는 것도 가치가 있습니다. 올바른 해답은 어떤 조합에 있다는 것입니다: 실험이 발생할 수 있도록 하되 시간이 지남에 따라 커뮤니티가 충분히 테스트된 기본 설정에 수렴하도록 하는 메커니즘을 설정하세요.
건설자에게 네 가지 제안
요약하면, AI 기반 판사는 기본적으로 문제 집합 (인간의 선입견, 이해 관련 스테이크, 불투명성)을 다른 문제 집합 (모델 한계, 힌트 단어 엔지니어링 도전, 정보원 취약점)으로 교환하며 후자의 문제는 해결하기 쉬울 지도 모릅니다. 그렇다면 어떻게 진행해야 합니까? 플랫폼은 다음을 해야 합니다:
1. 실험:
저위험 컨트랙트에서 LLM 결의를 테스트하여 과거 기록을 수립합니다. 어떤 모델이 가장 우수한 성능을 발휘하나요? 어떤 힌트 워드 구조가 가장 견고한가요? 현장에서 어떤 실패 모드가 나타날까요?
2. 표준화:
모베스트 프랙티스가 나타나면 커뮤니티는 기본 설정으로 사용되는 LLM 및 힌트 워드 조합을 표준화하려고 노력해야 합니다. 이는 혁신을 배제하는 것이 아니라 유동성이 잘 이해된 시장에 집중되는 데 도움이 됩니다.
3. 투명한 도구 구축:
예를 들어 인터페이스를 구축하여 트레이더가 거래 전에 모델, 힌트 워드, 정보 원본을 쉽게 확인할 수 있도록 합니다. 결의 규칙은 세부 규정에 묻혀서는 안 됩니다.
4. 지속적인 거버넌스 실시:
AI 판사가 있더라도 인간은 여전히 최상위 규칙의 수립에 책임이 있어야 합니다: 어떤 모델을 믿을 것인가, 모델이 명백한 오답을 줄 때 어떻게 처리할 것인가, 언제 기본 설정을 업데이트할 것인가. 목표는 인간을 판사로부터 완전히 제거하는 것이 아니라 인간을 임시의 경우별 심사에서 시스템 규칙 수립으로 이동시키는 것입니다.
예측 시장은 놀랄 만한 잠재력을 가지고 있으며 우리에게 혼란스럽고 복잡한 세계를 이해하는 데 도움이 될 수 있습니다. 그러나 이러한 잠재력은 신뢰에 따라 달라지며, 신뢰는 공정한 계약 결의에 따라 달라집니다. 우리는 이미 결의 메커니즘의 실패 후유증을 목격했습니다: 혼란, 분노 및 트레이더의 이탈. 저는 이전에 마음에 드는 플랫폼을 사용하지 않겠다고 맹세하며, 자신이 베팅한 의도에 반하는 결과에 속은 것을 느낀 사람들이 완전히 예측 시장에서 물러난 것을 목격했습니다. 이는 예측 시장의 혜택 및 보다 광범위한 응용을 해제하는 데 놓친 기회입니다.
LLM 판사는 완벽하지 않습니다. 그러나 암호 기술과 결합할 때, 그들은 투명하며 중립적이며 인간 시스템에 오랫동안 문제가 되어 온 조작에 저항할 수 있습니다. 우리의 지배 메커니즘을 능가하는 속도로 예측 시장 규모가 확장되는 세계에서, 이것이 우리가 필요로 하는 것일지도 모릅니다.
BlockBeats 공식 커뮤니티에 참여하세요:
Telegram 구독 그룹：https://t.me/theblockbeats
Telegram 토론 그룹：https://t.me/BlockBeats_App
Twitter 공식 계정：https://twitter.com/BlockBeatsAsia
관련 기사
