1. Airflow 설치
Airflow를 로컬 환경에서 쉽고 간단하게 설치하고 시작하는 것을 알아보도록 하겠습니다.
1) Airflow 가상 환경 설정
python3을 이용한 가상 환경 설정 방법입니다.
# 가상환경 생성
$ python3 -m venv test-airflow
# 가상환경 실행
$ source test-airflow/bin/activate- 'test-airflow' 자리는 원하는 가상 환경 명을 적으시면 됩니다.
2) Airflow 설치(install)
가상 환경을 실행하고 다음 명령어를 입력하여 airflow를 설치해줍니다.
pip install apache-airflow
3) Airflow DB 초기화
airflow는 기본적으로 sqllite를 사용합니다.
다음 명령어를 입력하면 자신의 Home Directory에 airflow 폴더가 생성되는 것을 볼 수 있습니다.
airflow db init
4) Airflow 계정 생성
airflow webserver를 사용하기 위한 계정입니다.
# 계정 생성 명령어 (\ 앞에 띄어쓰기 있어야함)
$ airflow users create \
> --username {Login_ID} \
> --firstname {First_NAME} \
> --lastname {Last_NAME} \
> --role Admin \ # 해당 부분은 고정
> --password {Password} \
> --email {Email}
# 한줄 명령어
$ airflow users create --username {Login_ID} --firstname {First_NAME} --lastname {Last_NAME} --role Admin --password {Password} --email {Email}
5) Airflow Webserver 띄우기
다음 명령어를 사용하여 webserver를 띄울 수 있습니다. (기본 포트번호: 8080)
#데몬모드
airflow webserver -D
#기본모드
airflow webserver데몬 모드를 사용하는 이유는 background에서 돌리기 위함입니다. 기본 모드로 돌릴 경우 계속 켜놔야 하는 단점이 존재하기 때문에 데몬모드를 권장드립니다.
6) Airflow Scheduler 실행
airflow의 webserver를 띄우셨으면 scheduler를 실행해보도록 합니다.
#데몬모드
airflow scheduler -D
#기본모드
airflow schedulerscheduler는 airflow를 스케줄에 맞춰 돌리기 위함으로 배치 방식인 airflow를 주기적으로 돌리기 위해선 꼭 실행시켜주셔야 합니다.
7) Airflow 시작
이제 기본 포트인 localhost:8080으로 들어가시면 아래와 같이 로그인 화면이 나오게 됩니다.
처음 계정 생성했을 때의 username와 password를 입력하여 로그인합니다.
※ 마무리
Airflow를 쉽게 로컬 환경에서 설치하고 실행까지 해봤습니다.
airflow의 많은 기능들과 dag들을 다양하게 활용하시면 되겠습니다.
댓글