Python 및 threadpool을 이용해서 다운로더를 구현하고 있는데요
다운로드 요청 큐를 DB에 저장하고 그 DB에서 가장 오래된 N(기본값 256)개의 요청 항목을 꺼내다가 캐시에 임시로 저장한 후,
threadpool에서 워커 쓰레드를 16개정도 초기화시킨다음 그 쓰레드가 캐시에서 작업을 꺼낸 후 완료되면 완료된 작업을 캐시와 DB 두 곳에서 제거하는 방식으로 하려고 합니다.
뭐 이런식으로 구상했는데요 여기서 캐시는 워커 쓰레드 16개가 동시에 쿼리를 날리거나 관리자 페이지에서 다운로드 요청 목록을 조회할 때 SQLite로 쿼리를 날리는 부하를 줄이기 위해 추가해놨는데, 굳이 이런 캐시를 쓰지 않아도 무방하나요? SQLite3에 자체 캐쉬가 있을 것 같기도 한데 SQLite3을 써본 적이 거의 없어서..