Analysis Tips13 [공공데이터] 아파트 실거래 매매 API 연결 새해 기념이랄까, 아니면 이사를 가고 싶어서일까.. 작년에 했었던 아파트 매매 관련 분석을 다시 해보고 싶어졌다. dovah.tistory.com/11?category=884682[Study] 아파트 호재 분석(2020-03-07)부동산 호재가 아파트 매매가에 얼마나 영향을 끼칠까? 라는 궁금증에서 친구들과 시작하게 되었다. 우선 데이터 수집처부터 확인했다. 1. 공공데이터 수집 공공데이터를 통해서 아파트 매매 실dovah.tistory.com이전에는 공공데이터 포털과 네이버 뉴스 데이터를 모아서 분석하는 걸 해보려했었는데,이번에는 매매 데이터를 DB에 넣고 이를 간단히 시각화하고 지역별 비교같은 분석을 해보고 싶어졌다. 그래서 이전에 했던 API 연결 코드를 활용해서 했는데,,,,, 어쩐일인지... 에.. 2021. 1. 3. [Python] Selenium으로 KBO 기록실을 털어보자 -2탄 이전 글에선 Beautiful soup을 통해서 KBO 기록실 크롤러를 라이트하게 만들어봤는데, 이번엔 Selenium과 Beautiful soup을 활용해서 만들어보려 한다. Selenium을 활용하기 위해선 자신이 사용하는 브라우저의 Web driver가 필요하다. 내가 가장 자주 사용하는 것이 Chrome이기 때문에 Chrome에 맞춰 진행하려 한다. (업무상에선 파이어 폭스도 사용할 때가 있기도 하다.) https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 해당 링크를 통해서 web dr.. 2020. 7. 13. [Python] Beautifulsoup으로 KBO 기록실을 털어보자 -1탄 예전에 야구를 참 즐겨봤었다. 지역이 충청이다 보니 한화를 응원했는데, 난 부처가 아닌 것을 알게되었다. 그러면서 야구를 안보게 되었다. 그러다 회사때문에 성남으로 이사오고 주변 친구들도 야구를 보게되면서 나도 다시 야구를 보게 되었다. 대신 한화가 아닌 KT를 응원하고 있다!! 그러다 문득, KBO 역대 기록들을 수집하고 이걸 시각화하는 걸 해보면 재밌지 않을까? 라는 생각에 KBO 크롤러를 만들게 되었다. 크롤러는 Beautifulsoup을 사용하는 버전과, Selenium을 사용하는 버전으로 나눠서 만들 예정인데, 오늘 올릴 버전은 Beautifulsoup이다. KBO 기록실 주소는 아래와 같다. https://www.koreabaseball.com/Record/Player/Runner/Basic... 2020. 6. 21. [Python] 네트워크 분석 시각화(networkx+bokeh) 재작년 즈음에 네트워크 분석을 진행한 적이 있었다. 대학원 시절에는 주로 gephi를 사용했는데, 가장 큰 단점이 일일이 만져줘야하는 시간이 너무나 많이 걸린다는 것이다. 그래서 과감하게 NetworkX를 사용해서 시각화하고 이것을 Bokeh를 통해서 interactive하게 만들어보기로 했었다. 지금은 어떤지 모르겠지만 그 당시에는 NetworkX와 Bokeh 모두 관련 정보가 없어서 시행착오를 많이 겪었다. (사실 내가 빠르게 해보고 싶어서 서두르다 보니 더 잘 안된 것도 큰 이유라 생각한다.) 2년전 코드로 정리할 예정이기 때문에 상당히 난잡하고, 비효율적이다...(늘 그렇듯) 1) networkx를 통한 그래프 그리기 우선 노드와 노드간의 관계를 표현할 수 있는 Edge list를 만들어야 한다... 2020. 3. 4. 이전 1 2 3 4 다음
