AI 공약 검증 방식
Poligraph는 공약 이행 현황을 지속적으로 최신 상태로 유지하기 위해 자체 구축한 AI 검증 파이프라인을 운영합니다. 이 시스템이 어떻게 작동하는지, 어떤 한계가 있는지, 어떻게 투명성을 확보하는지 상세히 설명합니다.
11,049건
검증 완료 공약
75,796건
수집된 근거자료
0.85+
자동 업데이트 신뢰도 기준
AI 검증이란?
공약 검증은 선출직 공직자가 선거 당시 유권자에게 약속한 사항이 실제로 이행되고 있는지를 판단하는 작업입니다. 전통적으로는 사람이 직접 뉴스와 공식 자료를 검색해 상태를 판정해야 했지만, 11,049건에 달하는 공약을 사람이 주기적으로 수동 검토하기란 사실상 불가능합니다.
Poligraph의 AI 검증 시스템은 대형 언어 모델(LLM)이 각 공약과 관련된 뉴스 기사, 공식 보도자료, 국회 의안 데이터를 자동으로 수집하고 분석해 이행 상태를 판단합니다. 이를 통해 사람이 직접 처리하기 어려운 규모의 공약을 빠르게 갱신할 수 있습니다.
AI 모델 활용 현황
Poligraph는 작업 단계마다 최적의 AI 모델을 선택하여 활용합니다.
| 작업 단계 | 대상 | AI 모델 |
|---|---|---|
| 공약 추출 | 국회의원 (254명) | Google Gemini 2.5 Flash |
| 공약 추출 | 지자체장 (234명) | Anthropic Claude Sonnet 4.6 |
| 공약 추출 | 시·구·도의원, 교육감, 비례대표 | LG EXAONE 3.5 7.8B 진행중 |
| 공약 이행 검증 | 전체 공직자 | Alibaba Qwen 3.5 35B NVIDIA DGX Spark · 네이버 뉴스, 지자체 보도자료, 국회 의안, 공공데이터 교차 검증 |
검증 인프라
공약 이행 검증은 외부 상용 API에 의존하지 않고 자체 하드웨어에서 LLM을 서빙합니다. 공약 데이터와 근거자료가 외부로 전송되지 않아 개인정보 및 데이터 주권을 보호할 수 있습니다.
DGX Spark (NVIDIA GB10 Superchip)
128GB 통합 메모리를 갖춘 NVIDIA DGX Spark에서 vLLM으로 LLM을 로컬 서빙합니다. 클라우드 API 없이 자체 GPU에서 추론하여 비용 효율과 데이터 보안을 동시에 확보합니다.
Qwen3.5-35B-A3B (MoE)
35B 파라미터 중 3B만 활성화하는 Mixture-of-Experts 아키텍처 모델입니다. 추론 속도와 정확도 사이의 균형이 뛰어나며, 한국어 처리 성능이 검증된 공개 모델입니다.
Supabase PostgreSQL
수집된 근거자료(pledge_evidence)는 Supabase PostgreSQL에 구조화된 형태로 저장됩니다. 각 근거자료는 공약 ID, 출처 URL, 수집 날짜, 신뢰도 점수와 함께 기록되어 투명하게 공개됩니다.
데이터 수집 방식
각 공약에 대해 다양한 출처에서 관련 자료를 비동기적으로 수집합니다. 단일 출처에만 의존하지 않고 교차 검증함으로써 정확도를 높입니다.
네이버 뉴스 API
공약 키워드로 최신 뉴스 기사를 검색합니다. 언론 보도 날짜와 제목·본문을 수집해 이행 여부의 시간적 흐름을 파악합니다.
지자체 공식 홈페이지
.go.kr 도메인의 지방자치단체 공식 사이트에서 보도자료, 공고문, 사업 완료 보고서를 crawl4ai로 크롤링합니다.
국회 의안정보시스템
국회의원 공약과 관련된 법안 발의·통과 현황을 의안정보시스템에서 직접 조회합니다.
지방재정 데이터
예산 집행 여부가 공약 이행과 직결되는 경우, 지방재정통합공개시스템 데이터를 참조합니다.
공공데이터포털 (data.go.kr)
행정안전부가 운영하는 공공데이터포털에서 정부 사업 완료 현황, 인허가 데이터, 예산 집행 결과 등 공약 이행과 직결되는 공공 데이터셋을 조회합니다.
정책브리핑 (korea.kr)
문화체육관광부가 운영하는 정책브리핑에서 중앙정부 및 지방자치단체의 공식 정책 보도자료와 사업 결과를 수집합니다. 특히 국회의원 공약의 중앙정부 협력 사업 이행 여부 확인에 활용합니다.
웹 크롤링은 crawl4ai를 사용해 다중 소스를 비동기로 처리합니다. robots.txt를 준수하며, 공공기관 및 언론사 공개 데이터만 수집합니다.
후보자 유형별 자동 소스 선택
공약의 성격은 선출직 유형에 따라 크게 다르므로, 시스템은 후보자 유형을 자동 감지해 최적의 데이터 소스 조합을 선택합니다.
| 후보자 유형 | 우선 소스 |
|---|---|
| 국회의원 | 국회 의안정보시스템, 정책브리핑 |
| 광역단체장 (시·도지사) | 지자체 공식 홈페이지, 지방재정 데이터 |
| 기초단체장 (시장·군수·구청장) | 지자체 공식 홈페이지, 공공데이터포털 |
| 광역·기초의원 | 지자체 공식 홈페이지, 네이버 뉴스 |
파이프라인 흐름도
개별 공약 하나가 처리되는 전체 흐름을 단계별로 나타냅니다.
공약 로드 및 후보자 유형 감지
데이터베이스에서 미검증 또는 갱신 주기가 지난 공약을 일괄 조회하고, 후보자 유형(국회의원/광역단체장/기초단체장/의원)을 자동 감지해 소스 조합을 결정합니다.
다중 소스 비동기 수집
결정된 소스 조합에 따라 네이버 뉴스 API, 의안정보시스템, 지자체 홈페이지(.go.kr), 공공데이터포털(data.go.kr), 정책브리핑(korea.kr), 지방재정 데이터를 crawl4ai로 비동기 병렬 수집합니다.
컨텍스트 구성 및 LLM 입력
수집된 자료를 공약 원문·후보자 정보와 함께 구조화된 컨텍스트로 조합해 Qwen3.5-35B-A3B 모델에 입력합니다. 프롬프트에는 상태 분류 기준, 판단 근거 서술, 신뢰도 점수 출력 요구가 포함됩니다.
LLM 상태 판단 및 신뢰도 산출
모델이 5가지 상태(완료/진행중/준비중/보류/중단) 중 하나로 분류하고 판단 근거와 신뢰도 점수(0~1)를 JSON 형태로 출력합니다.
신뢰도 기준 분기 처리
신뢰도 0.85 이상은 공약 상태에 자동 반영, 0.70~0.84는 관리자 검토 대기 큐로 전송, 0.70 미만은 데이터베이스 저장만 하고 공개 상태에 반영하지 않습니다.
근거자료 저장 및 공개
LLM이 참조한 근거자료는 pledge_evidence 테이블에 공약 ID·출처 URL·수집 날짜·신뢰도와 함께 기록되어 각 공약 페이지에서 열람 가능합니다.
LLM 분석 과정
수집된 자료는 공약 원문과 함께 LLM에 입력됩니다. LLM은 다음 다섯 가지 상태 중 하나로 분류하며, 그 판단의 근거와 신뢰도 점수를 함께 출력합니다.
공약이 실질적으로 이행 완료되었음을 보여주는 공식 발표 또는 언론 보도가 확인된 경우
공약 이행을 위한 예산 배정, 조례 발의, 착공, 시범 운영 등 구체적 진전이 확인된 경우
임기 초반이거나 관련 보도가 없어 이행 시작 여부를 판단하기 이른 경우
예산 미확보, 반대 여론, 법률적 장애 등으로 추진이 일시 중단된 것으로 보이는 경우
공식 취소 발표 또는 임기 종료 시까지 이행되지 않았음이 확인된 경우
LLM에는 단순히 "상태를 분류하라"는 지시만 주는 것이 아니라, 어떤 근거로 그 판단을 내렸는지 설명하도록 요구합니다. 근거 없는 분류는 낮은 신뢰도로 처리되어 자동 업데이트 대상에서 제외됩니다.
신뢰도 점수(Confidence Score)
신뢰도 점수는 LLM의 판단이 얼마나 믿을 만한지를 0에서 1 사이의 값으로 나타냅니다. 다음 요소들을 종합해 산출됩니다:
- 근거자료의 수: 동일한 결론을 지지하는 출처가 많을수록 높아집니다.
- 출처의 신뢰성: 공식 정부 발표(.go.kr)가 언론 보도보다 높은 가중치를 받습니다.
- 정보의 최신성: 최근 6개월 이내 자료가 오래된 자료보다 높은 가중치를 받습니다.
- 일관성: 여러 출처가 동일한 결론을 가리킬 때 신뢰도가 높아집니다.
AI 판단이 충분히 신뢰할 수 있는 수준으로, 관리자 검토 없이 공약 상태가 자동으로 반영됩니다.
AI가 판단을 내렸으나 불확실성이 남아 있는 경우입니다. 관리자 대시보드에 검토 대기 항목으로 표시됩니다.
근거자료가 부족하거나 상충되어 신뢰도가 낮습니다. 데이터베이스에는 저장되지만 공약 상태에 반영되지 않습니다.
한계와 투명성
- LLM은 문맥을 잘못 이해하거나 뉘앙스를 놓칠 수 있습니다.
- 뉴스 보도가 부족한 지역·소규모 공약은 근거자료 수집이 어렵습니다.
- 공약의 "완료" 기준이 명확하지 않은 경우 AI가 과대·과소 평가할 수 있습니다.
- 크롤링 시점에 따라 최신 정보가 반영되지 않을 수 있습니다.
- AI 모델 자체의 편향이 판단에 영향을 줄 수 있습니다.
이러한 한계를 보완하기 위해 Poligraph는 다음과 같은 투명성 원칙을 지킵니다:
근거자료 공개
각 공약 페이지에서 AI가 참조한 근거자료 목록을 확인할 수 있습니다. AI 판단을 맹목적으로 따르지 않고 직접 원본 자료를 검토할 수 있습니다.
신뢰도 점수 표시
AI가 판단한 신뢰도가 낮은 항목은 별도 표시하여 이용자가 주의를 기울일 수 있도록 합니다.
관리자 검토 단계
신뢰도 0.70~0.84 구간의 항목은 반드시 관리자가 검토한 후 공식 상태에 반영됩니다. AI의 판단이 무조건적으로 공개 데이터를 변경하지 않습니다.
오류 신고 채널
AI 판단에 오류가 있다고 판단될 경우, 문의 페이지를 통해 신고할 수 있습니다. 접수된 신고는 관리자가 직접 검토합니다.
선거법 준수
Poligraph는 공직선거법을 준수하며, 다음 원칙을 엄격히 지킵니다:
- 객관적 사실만 제공: 공약의 이행 상태는 공개된 공식 자료와 보도에 근거한 사실 확인이며, 특정 공직자나 정당에 대한 지지·반대 의사를 표명하지 않습니다.
- 정치적 중립: AI 분석 과정에서 정당, 이념, 개인에 대한 편향이 개입되지 않도록 프롬프트를 설계하고 결과를 검토합니다.
- 선거운동 금지: 본 서비스는 선거운동에 해당하는 콘텐츠를 제공하지 않으며, 이용자가 제출하는 평가·의견도 동일한 기준으로 관리됩니다.
- 데이터 출처 명시: 모든 공약 원본 데이터는 중앙선거관리위원회에서 제공하며, 출처를 명확히 표기합니다.
문의 및 오류 신고
AI 검증 결과에 오류가 있거나 추가해야 할 근거자료가 있다면 알려주세요. 더 정확한 공약 추적을 위해 시민 여러분의 제보가 큰 도움이 됩니다.