반응형 Python2 [Crawl] 파이썬 셀레니움과 bs4를 이용한 네이버 지도 크롤링 [1] (Naver Place) with selenium and BeautifulSoup 네이버 지도에서 가게 정보를 가져오는 크롤링을 만들면서 정리한 글입니다. (다른 곳 크롤링보다 네이버 지도의 크롤링이 까다로웠습니다. iframe 이동, 어떤 주기로 인한 클래스네임 변경 및 xpath가 다른 예외.. 등등) 크롤링 과정을 간단하게 설명하겠습니다. 네이버 지도 url을 크롬드라이버를 통해 연다. 검색창에 지역명을 입력한다. 나오는 가게들을 순차적으로 클릭하여 나오는 정보들을 크롤링한다. 그럼 시작 하겠습니다. 먼저, 아래 링크에서 자신의 크롬 버전에 맞는 드라이버를 다운로드 하겠습니다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If yo.. 2024. 3. 14. [Airflow] Airflow 설치 및 시작하기 1. Airflow 설치 Airflow를 로컬 환경에서 쉽고 간단하게 설치하고 시작하는 것을 알아보도록 하겠습니다. 1) Airflow 가상 환경 설정 python3을 이용한 가상 환경 설정 방법입니다. # 가상환경 생성 $ python3 -m venv test-airflow # 가상환경 실행 $ source test-airflow/bin/activate - 'test-airflow' 자리는 원하는 가상 환경 명을 적으시면 됩니다. 2) Airflow 설치(install) 가상 환경을 실행하고 다음 명령어를 입력하여 airflow를 설치해줍니다. pip install apache-airflow 3) Airflow DB 초기화 airflow는 기본적으로 sqllite를 사용합니다. 다음 명령어를 입력하면 .. 2022. 12. 20. 이전 1 다음 반응형
