[mac-os] VSCode에 Python Web Crawling을 위한 환경(BS4, Requests, Selenium,...)

사실 학창 시절 때는 코딩을 주로 배웠다기보다는 그냥 정신없이 수학 배우고, 정보구조, 전자&전기, 알고리즘, 하드웨어, 소프트웨어, 경영 등등 여러 가지를 함께 배운다고 어디 한쪽도 깊게 배우지 못한 것 같다. 그러다 보니 컴퓨터공학과는 프로그래밍을 잘해야 한다고 하지만 소홀했던 것 같다. 가끔 학기에 하는 과제, 프로젝트 등을 할 동안 바짝 코딩하고 그 후에는 또 한동안 안 하다 보니 항상 까먹고 처음부터 다시 시작하는 느낌이다.

 

그런고로 그냥 웹 개발부터 대충 해보자라는 생각으로 다시 해보고 있다. 그러다 보니 평소 가끔 보던 노마드코더에서 웹 개발 강의를 제공하는 것을 보고 초급만 살짝 맛을 봤다.

 

https://www.replit.com 

Replit: the collaborative browser based IDE

에서 파이썬 개발을 하길래 해보고 VSCode에도 남겨보고 싶어서 어느 패키지를 받아야하는지 알아보고 작성을 해보려고 한다.

 

VSCode에 들어가서 아무 파이썬 파일을 만든다. 예: "main.py"

 

그러고 VSCode내에 있는 터미널에

python -v

를 치면 현재 사용되는 버전이 나온다.

만약 2.xx 버전이나 본인이 최신버젼에 맞춰서 쓰고 싶다면 간편하게 homebrew에서 업데이트를 해주도록 하자.

 

brew install python 3.xx

 

https://www.python.org/downloads/

Download Python

에서 최신 버전을 확인해주면 된다.

 

 

이번에는 컴퓨터의 터미널에서

which python

를 쳐서 파이썬이 어느 폴더에 설치되었는지를 확인한다. 

 

그 후 파이썬 어느 버전들이 설치되어있나 아래의 명령어로 검색하면 된다.

ls -l <찾은 경로 파이썬 끝부분 숫자 대신 * 쓰기>
예를 들어 아래와 같이
ls -l /opt/homebrew/bin/python3/python*

그러고 나서 원하는 버전이 있다면 그 버전의 숫자로 명령어를 쓰면 된다.

ln -s -f /opt/homebrew/bin/python3.11 /opt/homebrew/bin/python

나는 3.11버전으로 했다. 니콜라스 형님이 극찬을 하며 추천을 하는 버전이다.

 

그러고 나서 터미너를 껐다가 켠 이후에

python --version

으로 버전 적용이 되었나 확인을 하면 된다. 서비스로 

brew install chromedriver

설치해놓자.

 

 

 

다시 VSCode의 터미널로 돌아가자.

터미널에서 몇가지를 설치할 거다.

우선 pip가 최신 버전이 아닐 수도 있기 때문에 한번 아래의 명령어를 쳐보고 나서 라이브러리들을 설치하도록 하자.

pip3 install --upgrade pip

pip install requests
pip install beautifulsoup4
pip install selenium

다 설치했으면 잘 돌아가나 확인 차 코드를 써보자.

from selenium import webdriver
 
browser = webdriver.Chrome()
 
browser.get("https://naver.com")

이러고 네이버 창이 켜지면 성공이다.

 

아마도 켜자마자 다시 바로 꺼질 텐데 함수가 종료돼서 그러는 것일 테니 걱정 안 해도 될 듯하다. 나중에 코드를 더 쓴다면 꺼지지 않을 것이다.