Crawling한 데이터를 DB에 저장하기(1)

 ✔️크롤링은 필요한 데이터가 있는 웹페이지의 구조를 분석하고 긁어오는 것을 말한다.

 

✔️ 크롤링한 데이터를 db에 저장하는 이유는 데이터 분석에 사용하거나 웹 API를 만들어 애플리케이션에서 활용하기 위해서이다.

 

<크롤링 전 할일>

1. 가상환경을 먼저 만들어준다.

python3.10 -m venv .venv

 

2. 맥북에서 가상환경을 활성화하는 명령어를 입력한다.

source .venv/bin/activate

 

3. 두가지 모듈 설치

pip install webdriver-manager

pip install selenium

 

한권만 우선 크롤링해 보기

1권만 크롤링 완성