475
2016-02-18 17:26:21
0
자바스크립트는 웹브라우져 언어이고
자바나 php라던가 asp, 파이썬 같은 언어로 하셔야 되요.
보통 파이썬도 많이 사용하시는데
저는 자바개발자라서 자바로 개발합니다.
파싱하기위한 기술로는
웹페이지를 파싱할려면 dom 구조를 읽을 수 있으셔야 되고
form submit이 어떻게 파악하실 수 있어야 됩니다.
추가적으로 firefox의 firebug같은 디버깅툴이나 paros같은 http request분석툴 사용이 가능하면 더 좋지요.
jsoup예제는 인터넷에 너무나 많아서 찾아 보시면 좋을거 같습니다.
http://slg1119.tistory.com/category/Java
jsoup는 파일 셀렉터가 jquery와 많이 유사합니다. jquery사용이 가능하다면 정말 좋겠죠.
웹에서 로그인은 사용자 쿠키값으로 합니다.
웹페이지를 요청하게 되면 응답값을 알 수가 있는데요.
거기서 쿠키 값을 그대로 로그인 과정에 보내주고 응답으로 오는 쿠키값을 저장해 둡니다.
이후에 로그인이 필요한 페이지에서는 쿠키값을 갖고 페이지를 요청하면 로그인된 페이지 정보를 얻을 수 있습니다.
저 같은 경우는 이러한 방법에
quartz 스케쥴러를 사용해서 12개 정도 사이트를 20분 단위로 파싱하고 있어요.
첨에는 어려우실거 같이 보이지만 해보시면 생각보다 어렵지 않을거에요.