먼저, 파이썬 가상환경을 생성하기 위해 터미널(또는 명령 프롬프트)을 엽니다.
가상환경을 생성할 폴더로 이동한 후 아래 명령어를 실행합니다:
`
python -m venv myenv
\
`
위 명령어에서 myenv
는 가상환경의 이름입니다. 원하는 다른 이름으로 변경 가능합니다.
가상환경이 성공적으로 생성되면, 아래 명령어를 통해 가상환경을 활성화합니다:
-
Windows: `
myenv\Scripts\activate \
` -
MacOS/Linux: `
source myenv/bin/activate \
`
가상환경을 활성화한 후, 필요한 패키지들을 설치합니다. 웹 크롤링을 위해 requests
와 beautifulsoup4
패키지가 흔히 사용됩니다. 아래 명령어를 실행하여 설치합니다:
`
pip install requests beautifulsoup4
\
`
이제 가상환경에서 웹 크롤링 코드를 작성하고 실행할 수 있습니다. 예를 들어, example.py
라는 파일을 생성하고 아래와 같이 코드를 작성합니다:
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 웹 페이지에서 필요한 정보 추출
title = soup.title.get_text()
print("웹 페이지 제목:", title)
위 코드에서는 requests
패키지를 사용하여 웹 페이지의 내용을 가져오고, beautifulsoup4
패키지를 사용하여 웹 페이지 내 필요한 정보를 추출합니다. 이후 추출한 정보를 활용하여 원하는 작업을 수행할 수 있습니다.
웹 크롤링 프로젝트를 실행하기 전에 항상 가상환경을 활성화하는 것을 잊지 마세요. 프로젝트를 종료하거나 다른 프로젝트로 전환할 때는 가상환경을 비활성화시키는 명령어를 사용합니다:
`
deactivate
\
`
이제 파이썬 가상환경을 생성하고 웹 크롤링 프로젝트를 시작할 수 있습니다. 세부 내용은 각 패키지의 공식 문서와 파이썬 웹 크롤링에 관련된 다양한 자료를 참고하시길 바랍니다.