NIKL

국립국어원(National I nstitute of Korean Language ) 언어정보나눔터: 말뭉치 파일 전처리 코드

安装

• 皮皮

  pip install nikl
  

• 源代码

  git clone https://github.com/study-artificial-intelligence/nikl.git
  cd nikl
  python setup.py install
  

要求

• beautifulsoup4 ( pip install beautifulspul4로 설치)

入门

1. 변환을 원하는 국립국어원 언어정보나눔센터의 말뭉치 사전을 ./data폴더에 넣어주세요。
2. 아래의 명령어에서 대괄호[, ]로 묶여있는 것들 중 선택해서 사용하세요。
   단, --filename에는 반드시 한 개 이상의 파일명이 들어가야 합니다。
3. 코드가 정상적으로 작동 시, ./data/폴더에 파일이름_info.txt, 파일이름_content.txt가 생성됩니다。

python main.py --filename [파일명.txt] [--info] [--content] [--newline]

# ex1) python preprocess.py --filename test.txt --content --newline
#      test.txt에서 단락 내용만 개행문자를 포함해서 data/test_content.txt 파일 생성
# ex2) python preprocess.py --filename test2.txt test3.txt --info --content
#      text2.txt와 text3.txt에서 파일의 정보와 단락 내용을 각각 저장 후 data/test2_info.txt, test2_content.txt 
#                                                                    data/test3_info.txt, test3_content.txt 파일 생성

• 文件名：1개이상의파일명.txt 형식으로입력해주세요。국립국어원 말뭉치 파일 특성 상 txt 파일만 지원하고 있습니다。
• 信息：해당 파일의 전반적인 정보 를 출력할지에 대한 여부를 나타냅니다。기본값은 假입니다。
• 内容：해당 파일의 내용 를 출력할지에 대한 여부를 나타냅니다。기본값은 假입니다。
• 换行符：본문 내용을 전처리 할 때, 개행문자('\n') 삽입 여부를 나타냅니다。삽입 시 문단 별로 결과물이 출력됩니다。기본값은 假입니다。