반응형 크롤러2 [Python] Selenium으로 KBO 기록실을 털어보자 -2탄 이전 글에선 Beautiful soup을 통해서 KBO 기록실 크롤러를 라이트하게 만들어봤는데, 이번엔 Selenium과 Beautiful soup을 활용해서 만들어보려 한다. Selenium을 활용하기 위해선 자신이 사용하는 브라우저의 Web driver가 필요하다. 내가 가장 자주 사용하는 것이 Chrome이기 때문에 Chrome에 맞춰 진행하려 한다. (업무상에선 파이어 폭스도 사용할 때가 있기도 하다.) https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 해당 링크를 통해서 web dr.. 2020. 7. 13. [Selenium] 체크박스 상태 확인 크롤러를 통해서 데이터를 수집하는 것이 애매해 데이터를 다운 받는 경우가 종종 있다. 그냥 다운로드 할 수 있으면 다행이지만 "요약행"이라든가, "총합행"이라든가.. 하는 옵션이 추가되어 있는 경우가 있다. 이러한 행들의 경우에는 열 구분이 제대로 되어 있지 않아 해당 파읽을 읽었을 때 문제가 생기는 경우가 있다. 체크 박스에 대한 attribute가 제대로 있으면 다행지만 그렇지 않은 경우가 있는데 나는 아래와 같이 해결했다. if driver.find_element_by_xpath('//input[@type="checkbox"]').get_attribute('checked'): driver.find_elements_by_class_name('uiInputLabelLabel')[-1].click() x.. 2019. 3. 30. 이전 1 다음 반응형
