QUICKSTART.md

빠른 시작 가이드

5분 안에 시작하기

1단계: 설치 (1분)

setup.bat

2단계: 허깅페이스 토큰 설정 (2분)

1. https://huggingface.co/settings/tokens 접속

2. "New token" → 이름: party-crawler → 권한: Write → 생성 후 복사

3. .env 파일을 메모장으로 열고 입력:

HF_TOKEN=여기에_복사한_토큰_붙여넣기

HF_REPO_ID=your_username/minjoo-press-releases
HF_REPO_ID_PPP=your_username/ppp-press-releases
HF_REPO_ID_REBUILDING=your_username/rebuilding-press-releases
HF_REPO_ID_REFORM=your_username/reform-press-releases
HF_REPO_ID_BASIC_INCOME=your_username/basic-income-press-releases
HF_REPO_ID_JINBO=your_username/jinbo-press-releases

중요: your_username을 실제 허깅페이스 사용자명으로 변경하세요!

3단계: 실행 (2분)

전체 정당 한 번에 수집 (추천)

python main.py

특정 정당만 수집

python main.py --party minjoo        # 더불어민주당
python main.py --party ppp           # 국민의힘
python main.py --party rebuilding    # 조국혁신당
python main.py --party reform        # 개혁신당
python main.py --party basic_income  # 기본소득당
python main.py --party jinbo         # 진보당

날짜 범위 지정

python main.py --start-date 2024-01-01
python main.py --party reform --start-date 2024-01-01 --end-date 2024-06-30

완료!

데이터 저장 위치:

• 로컬: ./data/ 폴더 (CSV, Excel)
• 허깅페이스: 각 정당별 저장소에 자동 업로드

전체 옵션 요약

명령어	설명
python main.py	6개 정당 전체 증분 업데이트
python main.py --party [코드]	특정 정당만
python main.py --start-date YYYY-MM-DD	시작 날짜 지정
python unified_scheduler.py	매일 자동 실행 (스케줄러)

정당 코드 목록

코드	정당
minjoo	더불어민주당
ppp	국민의힘
rebuilding	조국혁신당
reform	개혁신당
basic_income	기본소득당
jinbo	진보당
all	전체 (기본값)

문제 해결

문제	해결
"HF_TOKEN이 설정되지 않았습니다"	.env 파일의 HF_TOKEN 확인
"Module not found"	setup.bat 다시 실행
크롤링이 느려요	crawler_config.json에서 concurrent_requests를 30으로 증가
특정 정당만 실패	python main.py --party [코드]로 개별 실행하여 확인

도움말

python main.py --help

전체 문서: README.md