분석글을 진행하다보니,
아무래도 너무 팔짱끼고 보시는 분들도 계시고
어려워 하시는분들도 많으십니다.
조언이 있으시다면 해주시고, 편안한 마음으로 즐겨주시길 바랍니다.
(실수한 부분이 있다면 언제든 의견 주십시오)
이제부터 분석 진행 시 객관적인 데이터 설명이나 알고리즘, 분석방법론은 별도의 색칠을 할테니
눈에 띄는 것만 보셔도 됩니다 ^^
잼있게 읽고 가셨으면 좋겠네요
2차분석 마무리 글입니다. 지난번 분석(2차 분석 중 중단)을 보신분은 이어서 보십시오 ^^.
첫번째 분석글:
지난번 분석 범위 이후 부터 분석을 시작하고자 합니다.
4월11일~4월18일일까지 무한도전 갤러리 내에서 특정한 그룹지정 없이 어떤 화재를 중심으로
게시글이 작성되었는지 한번 짚어보고 넘어가겠습니다.
글자가 클수록 핫 이슈거리로 생각하시면 될 듯 합니다.
(형태소 분석은 국립국어원 언어정보나눔터에서 배포중인 한마루 2.0에 내장되어 있는 사전을 기반으로
중복 제거 및 두글자 이상의 단어만 포함 무도 게시판에 맞춘 특정 무한도전 멤버 및 후보자들 그리고 몇몇 명사를 추가하여,
총 34,828개의 의미를 가진 사전을 기반으로 진행되었습니다.
추출 알고리즘은 TF-IDF 입니다)
당시 화재가 되었던 많은 단어를 한번에 볼 수 있죠.
'무도' '식스맨' 등이 있으며,
중간 '무도'를 중심으로 살펴보면...
'제가' '지금' '하고' 싶은 말씀들이 많았나 보군요;;;
'과거' '옹꾸라' '발언'도 눈에 보이며
광희, 사건, 오유, 여시, 여성, 베스트 등이 눈에 띕니다.
확실히 HOT!!! 했었죠...
다음은, 그 시간때 발생한 시간별 무한도전 비공감수와 다른 게시판과의 관계입니다.
위의 무한도전 관련 게시판을 제외하고 나머지 게시판과의 상관성을 주목해주십시오
개인적으로는 상관계수를 볼 때 반드시 x, y차트를 활용하여 봅니다.
확실히 무한도전 비공감수가 올라갈수록, 베스트 게시물과, 베스트 비공감수, 보류게시판 비공수가 올라가시는걸 확인할 수 있습니다.
이를 통해 유추해본다면,
무한도전 내 발생한 비공감이 다른 게시글에도 영향을 주었을거라고 생각될 수 있습니다.
1. 무한도전에서 비공감을 누른 사람이 유사한 시간대에 베스트나 베오베,
보류 게시글 등에 비공감을 주었을 것이다.
2. 무한도전내에서 비공감이 상승할때 다른 사람들 또한 무한도전외 게시글에
비공감을 주었기에 나타난 현상이다.
3. 그냥 아 몰랑~
요렇게 세가지 결론을 유추할 수 있습니다.
확실한 것은, 다른 비공감 게시판과 상관성이 있다! 라는 것이지요.
그럼 여기서, 타 게시판까지 의심하게 만드는 반대들.....
도대체 이 사람들은 누굴까?...
여기서만 이러는가?
이렇게 삐딱한 사람은 누굴까?..
생각해봄직합니다.
우선 그룹을 2가지로 나누도록 하겠습니다.
그룹 1. 공감이 하나도 없고 11~18일 사이 닥비공만 하는 사람 (그야말로 닥반러)
그룹 2. 비공감대비 공감이 너무 짠 사람
각 그룹별로 유난히 별난 사람을 찾아 보도록 하겠습니다.
그룹 1. 공감이 하나도 없고 닥비공만 하는 사람
11~18일 까지 닥비공 한 사람들의 비공감 수를 Box plot으로 그리면
(Box Plot에 대한 자세한 정보는 네이버로 +_+),
'대부분의 사람들은 8일간 3회 이하 비공감을 눌렀습니다. ^_^ ' 라고 말하고 있습니다.
'그래... 대부분의 사람들은 그르케지....^_^ '라고 답하고,
4회 이상은 문제 그룹으로 지정하고자 합니다.
너무 간단하다구요? 실제로 검증결과 닥비공 1042명 중 916명이 3회 이하였습니다. ㅎㅎ
어떤 방식으로든 억울하실 분들 많으시겠지만... 여기서 끝나는게 아니니 마음을 가라 앉히세욤... 워워..
42회나 닥치고 비공감만 누르신 분들도 계시네요... 아이고 이 못난 사람아.....
공감 한번 누르기가 그르케 시르셨나욤 ㅠ_ㅠ.......
이건뭐야!라고 말하시는 분 혹은 분석, 통계 관련된 분만 보시기를...
아래의 히스토그램을 살펴보면 누가봐도 딱 오른쪽으로 매우 치우친 형태입니다.
표준편차(3시그마!!!쯔음!!)를 이용하여 끊어 내기에는 정규성이 심하게 위배 되지요
그리하어 Box-cox 변환을 시도하였는데.....
최대 Likelihood: 283.5343
최대 Likelihood 람다: -1.47
추정 람다: -1.5
변환수식: Wi = (POWER({FIELD1}, -1.5) - 1) / -1.5
▶ 정규성 검정
| 구분 | 데이터수 | Anderson Darling | p-value |
| 변환전 | 1042 | +∞ | 0 |
| 변환후 | 1042 | 156.30144 | 0 |
의미 없네요.... ㅡ_ㅡ
그리하여, box plot을 활용하여 러프한 형태로 끊어 내고자 합니다.
(실제로, 사이트 분석 시 자주 쓰입니다)
향후 나이브하게 처리한다는 표현을 쓰지요.. 이런 가정에 대한 검정은 최대한 빨리 넘기도록 하겠습니다.
분석할게 산더미 인지라, 일일이 통계적 방법론을 설명해 드리지 못함을 양해 바랍니다.
그룹 2. 비공감대비 공감이 너무 짠 사람
우선 한번이라도 공감을 선택한 사람들의 비공감 수와 공감 수를 box plot으로 보겠습니다.
아까 선정때와 마찬가지인 기준을 적용시켜보면
대부분의 사람은 21회 이하로 비공감을 주었으며, 24회 이하 공감을 주었다고 할 수 있겠네요.
그럼 이를 이용하여 21/24의 비율을 넘어가는 사람을 문제 그룹으로 간주합니다.
그룹 2를 철저히 비공감을 많이 준 대상으로 집결시키기 위해 비공감 횟수 21
and 공감대비 비공감율 0.825인 사람을 문제의 그룹으로 선정합니다.
금주 분석 정리하겠습니다.
확실히 무도 게시판 비공감수가 올라 갈 수록 다른 게시판(여러분들이 의심하시고 계시는)의
비공감수와 게시글 수가 많이 상승하는 것으로 나타났습니다.
이를 미루어 볼때 다른 게시판에도 좋지 않은 영향을 미치는 것으로 유추하고
: (무도 닥반 <-> 다른 게시판 닥반)
그룹1, 그룹2로 나누고 유난히 비공감 수가 과했던 분을 뽑았으며,
: (별난그룹 -> 무도 닥반 <-> 다른 게시판 닥반)
무도게시판에서 비공감/공감을 준
총 4206명 중 126(그룹1)+128(그룹2) = 254명을
문제 집단으로 정의하였습니다.
2차 분석은 여기까지입니다.
결과는 참짧은데 긴 길을 걸었지요...
ㅠㅠ... 머 그러려니 해주세요
다음 분석때는
이 그룹들이
어떤 글에 댓글을 달았고,
어떤 댓글에 공감/비공감을 하였으며
어떤 글을 썻고
어떤 글에 공감/비공감을 주었는지
글 제목부터 글내용까지 샅샅히 뒤져 보겠습니다.
text mining이 주를 이룰듯 하네요.
만약 엉뚱하게 나오면 어쩌냐구요? 진짜...1/10도 진행못한거 같네요....
해야 될 분석은 어마어마 하니, 여러분은 팝콘 꺼내드시고 천천히 즐기면서 감상하십시오.
분석 결과 일정을 얘기 하시는 분들이 많은데요.
일반적으로 룰을 정해놓고 시작하거나, 종속변수를 가지고 시작하는 프로젝트가 대부분인데
공식 프로젝트는 짧으면 2달, 길게는 1년까지도 진행됩니다.
현재 분석은 룰도 없고 종속변수도 없고 수치값도 거의 없기에..
(현재까지 나온 수치 값들은 대부분 데이터 핸들링을 통해 나온 값들입니다)
정말 맨띵에 해당하면서 시작포인트를 잡았고
이제 그룹 2개 선정된 지금..... 갈길이 한참 멉니다.
긴글 봐주셔서 너무 감사하구요
다음 분석 레포팅은 제가 입원하는 관계로 좀 미루어 질듯 합니다. ㅠㅠ
게다가 부위가 팔인지라 어떻게 진행될진 모르나 최대한 레포팅 할 수 있도록 하겠습니다.
마지막으로, 여시가 자주 쓰는 단어로는 어떤게 있을까요?
아~ 몰랑!!!, 뺴엑!!!, 이런 단어들 의견 있으시면 댓글 부탁드립니다.
(text mining 시 큰 도움이 됩니다)
입원 인증샷 남기고... 전이만...ㅠㅠ//
글쓰기