더보기
import requests
from bs4 import BeautifulSoup
# 초기 페이지에서 페이지 수 확인
response = requests.get(...)
soup = BeautifulSoup(response.content, "html.parser")
bottons = len(soup.find_all(class_="page-numbers")[1:-1]) # 페이지 네비게이션에서 버튼 수 가져오기
all_jobs = []
def scrape_page(url):
.
.
.
job_data = {
"company": company,
"position": position,
"description": description,
"url": job_url
}
all_jobs.append(job_data)
.
.
.
[배운 점]
- 진짜 뷰티풀한 BeautifulSoup
- 계산기도 못 만들던 내가 웹사이트 스크래핑을?
이때부터였어요,,, 챗GPT와 친해진 계기,,, ^^ㅎ
'Study > Python' 카테고리의 다른 글
[Python] 숫자 계산하기 (3) | 2024.12.25 |
---|---|
[Python] flask와 웹 스크래퍼와 사이트 제작 (8) | 2024.11.12 |
[Python] requests와 리스트(List) 배우기 (4) | 2024.11.12 |
[Python] while 반복문과 if-elif 배우기 (4) | 2024.11.12 |
[Python] 세금 계산기 만들기 (4) | 2024.11.12 |