[파이썬] 기본 개념 정리 (8)

웹 크롤링을 통한 정보의 수집

웹 크롤링 / 웹 스크랩핑

• 웹 크롤링 : 웹에 존재하는 문서를 다운로드하여 가져오는 것
• 웹 스크랩핑 : 웹 문서로부터 분석하고자 하는 유의미한 정보를 추출하는 것

---

BeautifulSoup의 활용 (정적 크롤링)

• requests : HTTP 라이브러리의 하나로, URL 주소를 토대로 웹 문서를 불러올 때 유용하게 쓰임
• import requests
• page = page.text → 를 통해 텍스트의 형태로 변환해줘야 함
• BeautifulSoup( ) → 볼 수 있는 형태로 보여줌

BeautifulSoup의 ‘find_all( ‘ ‘ , class_ = ‘~~ ‘ )를 통해 원하는 요소를 빼내올 수 있음

공백 제거와, 구문 삭제

• each_data.txt → 불필요한 구문들 삭제
• (대상).strip( ) → 공백 제거

---

Selenium의 기초 (동적 크롤링)

• 로그인이 가능해야함! → 버튼 클릭, 옵션 선택, 로그인 등의 동적인 상호작용을 가능케 하는 프로그램
• 위 단계와 마찬가지로, 빈칸 입력이나 데이터 추출은 가능하나, 버튼을 누르는데 사용되는 것! → 따라서, xpath ‘ 버튼 조작 ‘
  • .find_element(By.NAME, ‘id’) → name으로 아이디 입력 칸 찾기
  • .send_keys(’MY_ID’) → 아이디 입력 칸에 해당 값 전송

---

정리

• 아이디 입력 칸 → 개발자 도구로 확인하면 name = id
• 비밀번호 입력 칸 → 개발자 도구로 확인하면 name = pw
• 로그인 버튼 → 개발자 도구로 XPaht 확인 및 복사 가능
• soup = BeautifulSoup(driver.page_source, ‘html.parser’) → Selenium으로 조작한 웹 페이지 정보를 BeautifulSoup으로 추출 가능