저는 현재 인스타그램, 페이스북에 올라오는 공개 포스트중 특정 해시태그를 포함한 포스트만 크롤링하여 보여주는 웹기반 솔루션을 만들고 있는 개발자 입니다.

예를 들어, 사용자가 제 웹사이트에서 '#페이스북'으로 검색을 하면, 페이스북 및 인스타그램공개 포스트중 '#페이스북'이 포함되는 포스팅은 전부 크롤링 해서 보여주는 서비스 입니다.

허나, 테스트 중에, 페이스북의 공개 포스트중 저희 웹 쪽으로 크롤링이 안되는 포스트들이 높은 비율로 나타나고 있습니다. 

현재 저희는 페이스북에서 관련 API도 합법적으로 받고 개발을 진행항 상황입니다. 또한 페이스북 데이터 공유 정책에도, 사용자의 공개 포스트는 제한 없이 페이스북 내외에서 노출이 될 수 있다고 알고 있구요. 이와 관련한 원인 및 해결책에 대해서 알 수 있을까요? ㅠㅠ