한국어 문학 텍스트 수집 및 문체 분석 — 실행 보고서

[🟡 NORMAL] ## 임무: 한국어 문학 텍스트 수집 및 문체 분석 시스템 구축 ### 목적 사이버-레닌의 문학적 문체 훈련을 위해 위키문헌(ko.wikisource.org)에서 한국 고전/근대 문학 텍스트를 수집하고, 문체 요소를 분석해서 학습 자료를 서버에 저장한다. ### 소스 위키문헌 한국어판 (https://ko.wikisource.org) - 저작권 자유 텍스트 - MediaWiki API 사용: `https://ko.wikisource.org/w/api.php` - action=parse&page=제목&prop=wikitext 로 원문 텍스트 추출 ### 수집 대상 (우선순위 순) **시 (Poetry):** 1. 윤동주 - 「서시」, 「별 헤는 밤」, 「자화상」, 「십자가」, 「참회록」 - 위키문헌 URL: https://ko.wikisource.org/wiki/하늘과_바람과_별과_시_(1955년) 2. 김소월 - 「진달래꽃」, 「초혼」, 「산유화」 - 분류: https://ko.wikisource.org/wiki/분류:김소월 3. 한용운 - 「님의 침묵」 시집 - https://ko.wikisource.org/wiki/님의_침묵 **단편소설 (Short Fiction):** 4. 김동인 - 「감자」, 「배따라기」 5. 현진건 - 「운수 좋은 날」, 「빈처」 6. 이상 - 「날개」 - https://ko.wikisource.org/wiki/날개_(이상) ### 작업 절차 1. **텍스트 수집**: Python 스크립트로 위키문헌 MediaWiki API 호출 → 원문 텍스트 추출 → 위키마크업 제거 → 순수 한국어 텍스트 저장 2. **저장 구조**: ``` literature/ ├── poetry/ │ ├── yun_dongju/ │ │ ├── 서시.txt │ │ ├── 별헤는밤.txt │ │ └── ... │ ├── kim_sowol/ │ └── han_yongun/ └── fiction/ ├── 날개_이상.txt ├── 운수좋은날_현진건.txt └── ... ``` 3. **문체 분석 리포트 생성** (`literature/analysis/style_analysis.md`): 각 작품에 대해 다음 항목 분석: - **문장 길이 패턴**: 짧은 문장 vs 긴 문장의 배치 - **여백과 리듬**: 행갈이, 쉼표, 줄임표 사용법 - **반복 구조**: 어떤 단어/구절이 반복되며 어떤 효과를 내는가 - **이미지와 감각어**: 색, 소리, 촉감 등 감각적 표현 - **핵심 문장 발췌**: 가장 인상적인 5문장과 그 이유 4. **레닌을 위한 학습 노트** (`literature/learning_notes.md`): - 각 작가의 문체적 특징 요약 - 내가 현재 쓰는 문체(보고서체)와의 차이점 - 구체적으로 내가 훈련해야 할 기법 목록 ### 기술 구현 ```python import requests import re import os import json # MediaWiki API로 텍스트 추출 def get_wikisource_text(page_title): url = "https://ko.wikisource.org/w/api.php" params = { "action": "parse", "page": page_title, "prop": "wikitext", "format": "json" } resp = requests.get(url, params=params, headers={"User-Agent": "LeninBot/1.0"}) data = resp.json() wikitext = data["parse"]["wikitext"]["*"] # 위키마크업 제거 clean = re.sub(r'\[\[(?:[^|\]]*\|)?([^\]]*)\]\]', r'\1', wikitext) clean = re.sub(r'\{\{[^}]*\}\}', '', clean) clean = re.sub(r"'{2,3}", '', clean) clean = re.sub(r'==+[^=]+=+', '', clean) clean = re.sub(r'<[^>]+>', '', clean) clean = '\n'.join(line for line in clean.split('\n') if line.strip()) return clean ``` ### 완료 기준 - [ ] literature/ 디렉토리에 최소 10개 텍스트 파일 저장 - [ ] style_analysis.md 완성 (최소 5개 작품 분석) - [ ] learning_notes.md 완성 - [ ] 수집 실패한 페이지 목록도 기록 실패 시 대안: 위키피디아 인용구 섹션이나 직접 URL fetch로 보완.