ioi 갤러리(청하)를 긁는 크롤러(crawler)를 만들면서 배우고 느낀 것들

2016년 핫한 아이돌 ioi. 그 중에서도 김청하 갤러리를 위주로 짤방 및 움짤을 긁는 크롤러(crawler)를 근 한달간 짰었다.

크롤러 완성하는데 한달이 걸렸다는게 아니라,

예상치 못하게 생기는 문제 해결하고 지속적으로 다듬고 개선하고 그렇게 한달이 걸렸다.

다들 학부때 테트리스 한번씩 짜보면서 레벨업하잖아? 

그 연장선 상에서  짤방 및 움짤 크롤러를 짜면서 

머리속 텍스트로 남아 있던 지식들을 몸으로 느꼈다.

개인 프로젝트를 하는데에는 동기가 중요하다.

이번에는 여러 개인적인 동기와 열정이 시너지를 일으키더니 

이런 잉여로운 작업과 함께 깨달음을 주시다니..

깨달음의 과정 속에서 구조도 바꾸고 곁다리로 imgur api나 imgurpython 라이브러리, BeautifulSoup4도 잘 사용했다.

Task Queue를 만들기 위해서 Python의 Queue를 사용했다.

Slack 봇 만들면서 써놓고선 까먹고 있다가 구조개선하면서 다시 썼다.

이게(Queue) 정말 좋긴 좋았구나 싶었다.

초기 작성에서는 만만하게 보고 스레드도 없이 

뚝딱뚝딱 원테이크로 쭈욱 긁었는데 그 얼마나 미숙하고 미련했던가

Queue Task로 좀더 진일보 할 수 있었다.

Slack 봇 코드도 정리 한번 해야 하는데.

github : https://github.com/Hurderella/cralwer_ioi_python