안녕하세요. 지나가던 개발자입니다.
이 글에서는 오유에서의 여론조작 방지를 위한 기술적 개선에 대해 제안하고자 합니다.
제가 제안 드릴 방법은 구글 기술력의 핵심이기도 한 데이터 기반 알고리즘입니다.
물론 방법론이 같다는 것이구요 저는 내공이 아직 많이 부족하기 때문에 방법론을 실제로 구현하는 데에는 많은 어려움이 있을 것 같습니다만 아무튼 제안해봅니다.
<배경지식 - 데이터 기반 알고리즘>
알고리즘이란 문제를 해결하는 절차를 체계적으로 기술해 놓은 것을 말합니다. 예를 들어 추천을 10개 받으면 베스트 게시판으로 복사된다, 신고를 몇개 이상 받으면 보류게시판으로 이동된다. 이런 것도 다 알고리즘입니다. 알고리즘은 우선 통찰(insight)을 통해 아이디어를 얻고 이를 구현(implementation)하고 이후에 지속적으로 개선(improvement)하는 과정을 거쳐 만들어집니다. 아이디어는 단순하지만 구현이 쉽지 않은 경우도 있고 그 반대의 경우도 있습니다. 데이터 기반 알고리즘이란 알고리즘을 만드는 모든 과정에서 근거로 삼는 것이 데이터라는 의미입니다. 데이터를 분석해서 통찰을 얻어 구현하고 데이터를 보고 알고리즘을 개선해 나가는 것이죠. 보다 자세히 말씀드리면 아래와 같은 과정이 됩니다.
1. 통찰(insight)을 통한 아이디어 도출
오유의 글들을 훑어봤더니 이런 패턴을 보이는 사람은 분탕종자인 것 같다.
이런 패턴을 보이는 사람은 일베X인 것 같다
이런 글은 베스트로 갈만한 글인데 다른 이유 때문에 못 간 것 같다
대개는 이렇게 자신의 경험을 바탕으로 아이디어를 도출하게 됩니다.
혹은 여러사람이 의견을 자유롭게 내는 브레인스토밍이나.. 기타 등등 여러 방법이 있을 수 있겠죠.
이런 글이 바로 많은 사람들의 아이디어를 모으기 위한 글이라 할 수 있습니다.
2. 데이터 분석(data analyzing)
아이디어가 맞는지 아닌지는 오로지 데이터로만 검증합니다.
기본적으로 분석 대상이 되는 모든 데이터를 살펴보는 것이 맞습니다만 경우에 따라서는 표본을 추출하여 분석하기도 합니다.
예를 들면 지난 1년간 올라온 모든(혹은 베스트, 베오베) 글들을 분석 대상으로 삼을 수 있습니다.
데이터 분석 작업은 양이 너무 많기 때문에 일일히 하나씩 눈으로 확인할 수 없고 기계(컴퓨터)를 통해서 하게 됩니다.
그 분석의 틀로 1번에서 얻은 아이디어를 사용하게 되는 것이지요.
데이터 분석 결과가 나의 통찰과 일치하지 않을 수 있습니다. 왜냐면 내가 경험한 것이 전체 데이터를 대표할 수 있는 표본이 아닌 경우도 있기 때문이에요. 데이터 분석 작업은 통찰과 실제의 데이터가 일치하는지, 일치하지 않으면 왜 일치하지 않는지 등등을 밝혀내는 작업이라 할 수 있습니다.
3. 구현(implementation)
데이터를 통해 맞다고 입증된 아이디어를 실제로 구현합니다.
아이디어에 따라서는 구현이 아얘 불가능하거나 많은 시간, 노력, 돈이 필요하여 현실적으로 구현이 불가능할 수도 있습니다.
알고리즘을 구현하는데에는 정말 많은 것들을 고려해야 합니다. 시간, 노력, 돈, 서버성능, 유지보수 비용..
4. 실험(expreriment)
구현한 알고리즘이 의도한 대로 동작하는지 실험을 통해 검증하는 단계입니다.
반복적인 실험을 통해 알고리즘을 더욱 정교하게 다듬게 됩니다.
실험은 테스터들끼리만 진행할 수도 있고 그것이 의미가 없는 경우는 실제 서비스에 적용하여 전체 유저를 대상으로 진행할 수도 있습니다.
경우에 따라서는 실험을 한다는 사실을 밝히는 것이 실험결과에 영향을 미칠 수 있기 때문에 그럴 경우는 유저가 모르게 비밀리(?)에 진행하기도 합니다.
실험과정에서는 평가(evaluation)를 지속적으로 하게 됩니다. 이 알고리즘이 맞는가? 퀄리티가 어느정도인가? 에 대해 평가하는 것인데요, 여러가지 기준이 있을 수 있지만 정확도(precision)과 커버리지(coverage) 이 두개의 기준이 많이 사용됩니다. 정확도 95%이상, 커버리지 90% 이상 과 같은 구체적 목표를 가지고 실험을 진행하면서 계속 알고리즘을 다듬게 됩니다.
여론조작 여부를 판단하는 알고리즘이라면 이렇게 됩니다.
전체 조작 글 수(A): 120
알고리즘이 조작이라고 판단했으나 틀린 경우(B): 10
알고리즘이 조작이라고 판단했고 옳은 경우(C): 90
커버리지: (B+C)/A = (10+90)/120 = 83%
정확도: C/(B+C) = 90/(10+90) = 90%
5. 개선(improvement)
오랜 기간 테스트를 거쳐 완성된 알고리즘이라 할지라도 세상은 참으로 변화무쌍하기 때문에 시간이 지나면 맞지 않는 알고리즘이 될 수 있습니다.
또는 전에는 인지하지 못했던 알고리즘 자체의 헛점이 발견되기도 하지요.
이 때문에 지속적인 모니터링과 개선을 하게 됩니다. 물론 모두 데이터를 기반으로 합니다.
<오유에서의 여론 조작 방지를 위한 제안>
본론입니다. 현재 오유는 추천수 10을 받은 게시물은 베스트 게시판으로 복사되고 추천수 100을 받은 게시물은 베오베 게시판으로 복사됩니다.
신고수가 일정이상(정확한 숫자는 잘 모르겠네요) 누적되면 보류게시판으로 이동하는 것으로 알고 있습니다.
문제는 이 시스템을 악용해서 자신이 원하는 내용의 글을 추천조작으로 베스트/베오베로 이동시키거나 자신이 원하지 않는 내용의 글을 베스트/베오베에서 끌어내리는 일이 종종 발생한다는 점입니다.
1. 핵심은 알고리즘의 판단기준을 count 가 아니라 ratio(비율) 로 하자는 것입니다. 혹은 ratio를 기본으로 하되 count로 보완하자는 것입니다.
예를들어 비공감이 50개가 되면 베오베로 못간다고 합시다. 50이라는 숫자는 베오베로 못가게 하기에 적합한 숫자일까요? 추천이 500이고 비공감이50인 글이 베오베로 못가는 것이 맞을까요? 50은 어떤 기준에서 정해진 숫자인가요?
예를 들어 베오베에 가려면 추천이 100개 있어야 하고 비공감수가 추천수의 절반이하가 되어야 한다. 이런식으로 하자는 것입니다.
그렇다면 그 '절반' 이라는 것은 무슨 기준으로 정해지는 걸까요? 이것은 실험을 통해 알아내야 합니다.
실험에서 여론조작 여부에 대한 판단은 최종적으로 사람이 하게 됩니다. 절반이 맞는지 (예를들어)3분의1이 맞는지는 모두 일정 기간동안 시스템에 적용해보고 알고리즘이 판단한 결과가 정말로 맞는지, 정확도가 어느정도 되는지를 확인하고 정해야 합니다.
그렇다면 count만 사용하되 그 값을 실험을 통해 알아내면 되지 않느냐 라고 하실 수 있지만 제 통찰로는 아닌 것 같습니다. 사람수에 따라 다르게 적용하는게 맞는 것 같아요.
또한 추천수 비공감수로만 할 것이 아니라 아래의 요소들을 근거로 삼는것이 좋을 것 같습니다.
조회수 - 3종류로 분류
1) 스크랩한 글을 다시보기 한 경우
2) 링크를 타고 직접접근한 경우
3) 글 목록에서 보고 클릭한 경우
추천수
비공감수
목록노출수 - 페이지가 넘어가면 사용자에게 노출되는 횟수가 줄어들어 조회수가 떨어질 수 있습니다. 조회수 대신 목록노출수 대비 조회수로 보는 것도 좋을 것 같습니다.
댓글수
스크랩수
조회수 대비 추천수, 목록노출 수 대비 추천수 등등 여러가지 기준이 있을 수 있습니다. 이 기준들 중 어떤 것이 유효할 지는 실제 데이터를 분석해봐야 알 수 있겠죠.
2. 여론조작 감지 알고리즘은 위음성(false negative)은 허용하나 위양성(false positive)는 허용해서는 안된다.
위음성(false negative)은 아니라고(negative) 판단했는데 그게 잘못된(false) 경우를 말합니다.
위양성(false positive)는 맞다고(positive) 판단했는데 그게 잘못된(false) 경우를 말합니다.
위음성은 허용하나 위양성은 허용해서는 안된다는 말은
여론조작 감지 알고리즘에 의해 여론조작글이 아니라고 판단된 글이 사실은 여론조작글인 경우는 허용하나
여론조작 감지 알고리즘에 의해 여론조작글이라고 판단된 글이 사실은 여론조작글이 아닌 경우는 없어야 한다는 뜻입니다.
쉽게 말해 억울한 사람이 나와서는 안된다는 것입니다.
저는 법에 대해서는 잘 모르지만 법에서 무죄/유죄 판정을 할 때에도 위와 같은 원칙을 사용하는 것으로 알고 있습니다.
범죄자는 나중에 다시 잡을 수 있지만 억울한 누명을 쓴 사람의 인생은 되돌릴 수 없기 때문이지요.
법도 알고리즘도 완벽에 가깝게 판정을 할 수 있으면 정말로 좋겠지만 여러모로 힘들기 때문에 위와 같은 원칙이 필요한 것 같습니다.
<맺으며>
제가 제안해드린 내용은 러프한 스캐치이구요, 저도 사실 데이터분석 쪽으로 경험이 별로 없기 때문에 이 아이디어의 구현난이도는 정확히 짐작하기 어렵지만 못할 것은 아니라는 생각이 듭니다. 일간워스트를 만드신 분이 온라인 어뷰징 감지 쪽으로 일가견이 있으신 것으로 보이는데요, 그 분의 도움을 요청하는 것도 좋을 것 같습니다. 긴 글 읽어주셔서 감사하구요 왠지 묻힐 것 같아 좀 걱정인데 좋은 글이라는 생각을 하셨다면 다른 분들도 보실 수 있게 추천 부탁드립니다(꾸벅)
p.s. 개인적인 일로 많이 바쁘지만 혹시 바보님이 원하신다면 주말을 반납하고 얼마든지 도와드릴 의향이 있습니다.
글쓰기