반응형 전체 글12 [Crawl] 파이썬 셀레니움과 bs4를 이용한 네이버 지도 크롤링 [1] (Naver Place) with selenium and BeautifulSoup 네이버 지도에서 가게 정보를 가져오는 크롤링을 만들면서 정리한 글입니다. (다른 곳 크롤링보다 네이버 지도의 크롤링이 까다로웠습니다. iframe 이동, 어떤 주기로 인한 클래스네임 변경 및 xpath가 다른 예외.. 등등) 크롤링 과정을 간단하게 설명하겠습니다. 네이버 지도 url을 크롬드라이버를 통해 연다. 검색창에 지역명을 입력한다. 나오는 가게들을 순차적으로 클릭하여 나오는 정보들을 크롤링한다. 그럼 시작 하겠습니다. 먼저, 아래 링크에서 자신의 크롬 버전에 맞는 드라이버를 다운로드 하겠습니다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If yo.. 2024. 3. 14. [Airflow] Unable to locate package apache-airflow-providers-mysql 오류 해결 Cannot install apache-airflow-providers-mysql 일 때 해결법입니다. 먼저 apache-airflow-providers-mysql을 설치하기 위해서는 요구사항이 아래와 같습니다. 출처 : https://pypi.org/project/apache-airflow-providers-mysql/ apache-airflow-providers-mysql Provider for Apache Airflow. Implements apache-airflow-providers-mysql package pypi.org 위에 요구사항에 맞게 설치를 하다 보면 mysqlclient가 설치가 안될 경우 ubuntu 계정 sudo apt-get install python3-dev default-li.. 2023. 1. 11. [Spring boot] JPA - No property xxx found for type xxx! login 기능을 만들던 중 유저정보 검색 후 비밀번호 비교해서 맞는지 안맞는지 테스트중에 오류가 발견되었다. "No property xxx found for type xxx!" x에 들어가는 것은 변수이므로 모두가 다를 것이다. 해결법은 간단했다. 찾아보던 중 변수 사이에 언더바(_)는 엔티티의 레퍼런스 필드의 프로퍼티를 조회하는 예약어로 되어있어 사용을 피해야 한다. 예를 들어 xxx 가 test_id 로 되어있으면 testId 로 바꿔주면 된다. 이것은 UserEntity파일과 UserRepository 파일을 부분 수정하면 오류가 해결될 것이다. 이와 같이 UserEntity에서사용은 언더바를 제거한 상태로 사용하며 @Column 어노테이션을 사용하여 name을 지정해주면 된다. 모두 오류 해결하.. 2022. 12. 21. [Airflow] Airflow 서버 재시작 안될 때 Airflow webserver와 scheduler를 실행시켜주고 가끔 서버가 끊길 때가 있습니다. 그럴 땐 재시작을 해주면 간단히 해결됩니다. 하지만 이때 단순히 아래 명령어와 같이 처음 시작했을 때처럼 시작하는 명령어를 써도 될 때가 있지만, #데몬모드 airflow webserver -D airflow scheduler -D 실행을 해도 여전히 끊긴 채로 webserver가 안 열릴 때가 있을 텐데, 그럴 때 해결방법을 알려드리겠습니다. 먼저 airflow가 있는 폴더를 들어가시고 cd airflow ls ls 명령어를 사용하여 폴더목록을 보시면, 여러 폴더가 나옵니다. 재시작이 안됐던 이유는 기존에 있던 pid가 남아있기 때문에 존재한다 생각하여 시작이 안됐던 겁니다. 그래서 여기에 있는 폴더 중.. 2022. 12. 20. [Airflow] Airflow 설치 및 시작하기 1. Airflow 설치 Airflow를 로컬 환경에서 쉽고 간단하게 설치하고 시작하는 것을 알아보도록 하겠습니다. 1) Airflow 가상 환경 설정 python3을 이용한 가상 환경 설정 방법입니다. # 가상환경 생성 $ python3 -m venv test-airflow # 가상환경 실행 $ source test-airflow/bin/activate - 'test-airflow' 자리는 원하는 가상 환경 명을 적으시면 됩니다. 2) Airflow 설치(install) 가상 환경을 실행하고 다음 명령어를 입력하여 airflow를 설치해줍니다. pip install apache-airflow 3) Airflow DB 초기화 airflow는 기본적으로 sqllite를 사용합니다. 다음 명령어를 입력하면 .. 2022. 12. 20. [Vue2/vue-router] cannot read properties of undefined (reading 'install') 오류 해결 vue2를 사용하여 간단한 프로젝트를 진행하던 중 만난 오류... 잊지 않기 위해 정리합니다. cannot read properties of undefined (reading 'install') 이 오류는 먼저 vue의 버전을 확인해봐야합니다. 저는 vue2를 사용하다 만났는데 vue와 vue-router의 버전이 맞지 않아 생긴 오류입니다. ㅠㅠ vue2는 vue-router 3버전을 사용하여야 하고, vue3는 vue-router 4 버전을 사용하여야 합니다. 따라서 명령어를 사용하여 install을 진행할 때, vue 버전에 맞게 사용하시면 되겠습니다. (vue2버전 사용 시) npm i --save vue-router@3 (vue3버전 사용 시) npm i --save vue-router@4 이렇.. 2022. 12. 15. [React] React 왕기초 문법 정리 2(아니 이것도 정리한다고?) 1탄에 이어서 작성하도록 하겠습니다. 2022.11.30 - [개발/React] - [React] React 왕기초 문법 정리 1(아니 이것도 정리한다고?) [React] React 왕기초 문법 정리 1(아니 이것도 정리한다고?) React의 완전 기초 문법들을 정리해보려고 합니다. 기초 문법들을 제가 공부한다는 느낌으로 같이 기록 남길 겸..? 공유하는 목적으로 작성합니다.(아주 간단히!!) (문법 정리 목록) export -> import 동 de-bugging.tistory.com 1탄 안 보고 오신 분은 위 포스팅 보고 오시면 됩니다. (문법 정리 목록) export -> import 동치 연산자 if, else 삼항 연산자 setState ...props object.keys(values) `$.. 2022. 12. 1. [React] React 왕기초 문법 정리 1(아니 이것도 정리한다고?) React의 완전 기초 문법들을 정리해보려고 합니다. 기초 문법들을 제가 공부한다는 느낌으로 같이 기록 남길 겸..? 공유하는 목적으로 작성합니다.(아주 간단히!!) (문법 정리 목록) export -> import 동치 연산자 if, else 삼항 연산자 setState ...props object.keys(values) `${변수사용}` ( 따옴표 아님) 1. export -> import React는 라이브러리이기 때문에 다른 라이브러리를 불러오거나 할 수 있습니다. 혹은 다른 파일을 불러오기도 하는데 이때 사용하는 것이 export와 import입니다. python 같은 경우는 import로 파일 경로를 입력하거나 모듈을 사용할 때 import만 입력하면 된다고 하면 React는 import 할 .. 2022. 11. 30. [MySQL] MySQL server has gone away mysql에서 db연결이 실패하고 이런 로그를 보신 적 있으실 겁니다. (2006, "MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer'))") 이 로그가 뜨는 경우는 1.MySQL과 연결에 오류가 있는 경우 2. 패킷 전송에 문제가 있는 경우 3. 이전 연결 세션에 영향을 받은 경우 이렇게 세 가지 경우가 있는데 저의 경우는 2번째 문제였습니다. 저는 용량이 큰 쿼리를 mysql에 보내는 상황이었고, 전송 패킷의 용량이 너무 큰 바람에 생긴 오류였습니다. 해결책은 max_allowed_packet의 크기를 바꿔주는 것이었고, 직접 my.cnf파일을 찾아가 [mysqld] 항목에서 바꿔주면 됩니다. 최대 변경 가.. 2022. 11. 28. [React 시작하기 2] hello, world! [React 시작하기 1]에 이어서 환경 설정 세팅까지 완료됐으니 "hello, world!"를 찍어봅시다. 2022.11.24 - [개발/React] - [React 시작하기 1] 환경 설정 세팅 [React 시작하기 1] 환경 설정 세팅 윈도우 환경 기준이고, vscode로 진행하겠습니다. 1.Node.js 설치 및 버전 확인 먼저 node.js를 설치해줍니다.(npm은 node.js 설치하면 같이 설치가 됩니다.) https://nodejs.org/ko/ Node.js Node.js® is a JavaScript runti de-bugging.tistory.com 환경 설정 세팅은 위 포스팅을 참고해주시기 바랍니다. React 프로젝트를 생성하고 실행까지 했다면, localhost에 화면까지 띄우셨.. 2022. 11. 24. 이전 1 2 다음 반응형
