Python(파이썬) - 웹스크래핑(크롤링) 사용법, bs4

크롤링(crawling)이란 데이터를 수집하고 분류하는 것을 의미한다.

주로 인터넷상의 웹페이지를 수집해서 분류하고 저장하는 것을 뜻하며 데이터가

어디에 저장되어 있는지 위치에 대한 분류 작업이 크롤링의 주요 목적이다. [Google '크롤링 뜻']

 

 

#  "크롤링"을 하려면 두가지 일을 해야한다.

 

1. 주소창에 요청해서 html을 가져와야 한다.

( 앞전에 requests를 가지고 이미 해본 것.)

2. beautifulsoup 라이브러리를 사용해서 내가 원하는 정보를 가져온다.

 

beautifulsoup 설치하기(requests 설치 때랑 같음)

'파일'  →   '설정'  →  '프로젝트: prac_python'  →  Python 인터프리터 화면에서 + 버튼 누름.
→   'bs4' 검색해서 설치!

 

---

 

# 지금부터 beautifulsoup 사용방법!!

 

[코드스니펫] 크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup

# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')

#############################
# (입맛에 맞게 코딩)
#############################

 

---

 

print(soup)을 하면 밑에 실행창에 html이 들어오는 걸 볼 수 있다. (잘 들어오는지 url 붙여넣고 꼭 확인해보기)

 

---

 

 

#  select / select_one의 사용법을 익혀보자.

 

예제)

영화 제목을 가져와보기!

태그 안의 텍스트를 찍고 싶을 땐 → 태그.text
태그 안의 속성을 찍고 싶을 땐 → 태그['속성']

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        # a의 text를 찍어본다.
        print (a_tag.text)

if a_tag is not None : 의 의미는?  (if a_tag !=   ← is not None이랑 같은 의미.)

None은 화면에 보이는 가로선! 그래서 가로선을 제외하고 값을 나오게 하기위함임.

 

 

 

 

 

#  beautifulsoup 내 select에 미리 정의된 다른 방법을 알아보자.

# 선택자를 사용하는 방법 (copy selector)
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

# 태그와 속성값으로 찾는 방법
soup.select('태그명[속성="값"]')

# 한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')

 

 

 

#  크롬 개발자도구를 참고할 수도 있다.

 

1. 원하는 부분에서 마우스 우클릭 → 검사

2. 원하는 태그에서 마우스 우클릭

3. Copy → Copy selector로 선택자를 복사할 수 있음

 

 

 

---

 

# "크롤링" 연습 

 

url: https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829

네이버 영화랭킹 페이지에서 크롤링(웹스크래핑) 해보기!

 

 

순위, 제목, 별점 나오게 해보자!

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

movies = soup.select('#old_content > table > tbody > tr')

#old_content > table > tbody > tr:nth-child(3) > td.title > div > a
#old_content > table > tbody > tr:nth-child(4) > td.title > div > a


for movie in movies :
    a = movie.select_one('td.title > div > a')
    if a is not None:
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt']
        star = movie.select_one('td.point').text

        print(rank,title,star)

 

for 문은 돌리겠다는 의미. (정확하게 돌린다는게 먼지는 모르겠지만 느낌은 알겠음 ;)

 

if  a  is  not  None : (화면에 보이는 가로선 제외한다는 의미.)

 

title에 대한 설명 :

a로 지정해준 부분에서 text(텍스트)만 가져오겠다는 의미.

 

 

rank에 대한 설명 : 

순위(rank)를 내고 싶은데! 먼저 movie.select_one 가로열고,

우클릭  크롬검사  →  copy  →  copy selector 에서 복붙하면

#old_content > table > tbody > tr:nth-child(2) > td:nth-child(1) > img

이렇게 길게 나오는데,

 

위에서

movies = soup.select('#old_content > table > tbody > tr')

이렇게 지정을 해주었기 때문에 순위(rank) 복사해온 것에서 앞에 tr부분까지 지우고

td:nth-child(1) > img 이것만 넣어준다! 그리고 [ ' alt ' ] 추가해주면 순위만 깔끔하게 나온다. 

('alt' 추가 안해주며 복잡하게 길게 나옴.)

 

 

star 에 대한 설명 : 

rank와 마찬가지!

 

#old_content > table > tbody > tr:nth-child(2) > td.point

별점 복사해서 가져온 부분 중 tr까지 지우고

뒤에 td.point 만 붙여준다. 이렇게만 하면 복잡하게 길게 나오는데

.text를 해주면 별점 숫자만 깔끔하게 나온다!

 

 

결과가 나오기 원하는 순서대로 적어서 print하면

print ( rank, title, star )

 

이런식으로 나온다~!

 

01 밥정 9.64
02 그린 북 9.59
03 가버나움 9.59