동적인(?) 웹페이지가 파싱가능한가요??

트위터 API를 사용하여

트윗을 수집하는 작업을 하고있습니다.

그런데 API 무료인만큼 제약도 많구...

몇몇 키워드에선 24시간을 돌려두 중복을 제거하면 200여개라는 처참한 결과가 나오더라구요.

그래서

에 나오는 값을 파싱하자!!

결론이 나왔는데요.

이 녀석이 페이지단위로 결과가 나오는게 아니라

스크롤하면 이후 내용이 추가(?)되는 방식이더라구요...

아직 공부중이다 보니깐 몇날 며칠을 보아두 최초 검색되는 것 빼고는 파싱이 가능한지조차 모르겠네요.

선배님들!! 이런 웹페이지도 파싱이 가능한건가요!! ㅠㅜ

할 수 있다는 확신조차 없이 몇날 며칠을 고민하다 보니깐 자신감이 사라지네요..

염치 없이 방법까지 여쭙는건 너무 죄스럽구...

지도해주신단 느낌으로 가능한지 불가능한지 알려주실수 있나요!! ㅠㅜ

p.s 너무 횡설수설해서 죄송합니다..

p.s 검색의 생활화를 본받아서 구글신에 검색을 해보았지만... ㅠㅜ...