Mean Stack 으로 만드는 만화 사이트 #11

on

이번에는 지속적인 업데이트를 하도록 만들겠습니다.

현재는 우리가 서버를 한번 킬때마다 1번 업데이트가 되는 모습입니다. 하지만 우리가 실제로 크롤링 사이트를 만들기 위해서는 지속적으로 크롤링을 하도록 만들어야 합니다. 지속적으로 크롤링을 하지만 또 무작정 너무 많이 하다보면 서버자원도 많이 들고 좋지 않기때문에 적당하게 일정주기 마다 하도록 하면 될 것 같습니다. 그러면 그러기 위한 함수 setInterval을 사용하도록 하겠습니다.

일단 모듈화를 위해 우리가 항상 test부분으로 써왔던 부분에

스크린샷 2015-12-14 오전 11.03.05.png

autoSave라는 것을 실행 그러면 autoSave란?

대략 이런식

스크린샷 2015-12-14 오전 11.03.50.png

위처럼 하면 zangsisi.net의 만화를 30초마다 1개씩 저장이 됩니다. 지금 장시시의 만화가 67개 이니 대략 30분정도에 한번 전부다 저장이 되겠군요.

비슷하게 스크린샷 2015-12-14 오전 11.11.13.png

이렇게 한다면 저장이 잘 됩니다.

마루만화도 이런식으로 하면 됩니다.

스크린샷 2015-12-14 오후 12.04.15.png스크린샷 2015-12-14 오후 12.04.21.png

모든 만화리스트를 저장한다면 이런식이 됩니다. list_Save 부분들도 조금씩 바뀌었으니 git을 참고해주세요. 이제 이걸 실행하면 모든 만화리스트를 가지고 올 수 있습니다. 그후 autoSave를 통해 조금씩 조금씩 하루정도에 걸쳐서 모든 만화를 가져오지요. 그 뒤에는 적당히 업뎃이 된 만화들만 매일매일 가져올 것 입니다.

여기까지가 git 11-1입니다.

음… 엄청난 문제가 생겨버렸다. 그건 바로 서버에의 부하다. 단순히 팬텀을 써서 1개씩 저장하면 될것이라고 생각했는데 그냥 저장만 시키면 그럭저럭 되는데 여기서 서버에의 접속등을 해버리면 서버가 많이 힘들어 한다. 그리고 괜히 이거 때문에 나머지 2개사이트의 저장마저 이상해졌다. 그래서 전격 수정. 마루만화는 리스트만 저장한후 만화를 볼때는 마루만화의 페이지로 이동한다. 여러사이트의 만화정보를 한 곳에서 모아 볼 수 있다는 것에 촛점을 맞추자. 괜히 postSave를 phantomJS까지 써가면서 열심히 한것같다고 생각할 수 있지만, phantomJS라는 것이 있고 이렇게도 쓸수 있다는 것으로만 알면 될 것 같습니다.

아무튼 그렇게 수정을 하기 위해

스크린샷 2015-12-15 오후 12.31.09.png

이렇게 바꾸고 sublist_save도

스크린샷 2015-12-15 오후 12.31.44.png

이렇게 수정.

그리고 그 외 자잘한 부분들 수정.

이제 준비는 끝났습니다.  이걸 aws에 올리고 실제로 웹상에서 접속이 가능하도록 만들겠습니다. (물론 아직 회원기능 댓글기능 여러가지 기능들이 없지만 그래도 가장 중요한건 다 만들었으니까요. 나머지 기능들은 차차 업뎃하도록 하겠습니다.)

Advertisements

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

w

%s에 연결하는 중