취준로그 ver1.9

이제 수입이 없다는 생각을 하니 너무 막막하고 스트레스 받아서... 일경험 제도를 신청했습니다.

항상 무언가에 쫓기는 기분이에요. 진짜로 쫓기고 있는건지, 기분탓인지는 모르겠지만 말입니다.

---

(1) 데이터 (2) 개인 프로젝트 (3) IT/CS, 비즈니스 (4) 콘텐츠/마케팅 의 순서입니다.

---

 

1. AB TEST

A/B test: (주로 디지털 환경)사용자들을 대상으로 대조군과 실험군으로 나눠 특정 UI나 알고리즘의 효과를 비교하는 방법론. 종합 대조 실험(controlled experiment)

진행 과정 (1)가설 수립 (2)실험 설계와 수행 (3)결과 확인

- (1)가설 수립: 유의미한 인사이트를 도출하기 위한 가설 수립

    - 측정가능성, 민감도와 적시성을 모두 고려하고 전사 이해관계와 일치되도록 OEV(KPI)를 고려해야 함. 

    - 통제 가능한 실험변수들의 정렬이 요구되며, 참/거짓 판별이 가능한 구체적인 문장으로 정리해야 함.

- (2)실험 설계와 수행

    - 필요한 샘플 크기를 설정하고, 무작위 추출로 샘플링을 수행한다.

    - 사용자 분할 방법으로는 (1)노출 분산 방식 (2)사용자 분산 방식 (3)시간 분할 방식의 세 가지가 있다.

    - AB test실험 기간동안 편향이 일어나지 않도록 주의해야 한다.

- (3)결과 확인

    - AB test 결과 신뢰를 위해서는 (1)AA test (2)P-value 분석 두 가지 방식을 사용한다.

    - 각종 트래킹 툴(Google Analytics, Mixpanel, Amplitude, 등)과 p-value등으로 결과의 유의성을 확인한다. 이 때, 특정 지표만으로 평가할 것이 아니라 비즈니스에 미친 종합적인 영향을 고려한 판단이 필요하다:: p-value에 매몰되지 말 것

- 복합 AB test와 다변수 AB test는 다르다: 복합은 세그먼트에 따라 다른 AB test를 시행하는 것, 다변수는 말 그대로 A/B/C/D등 동시에 여러 변수를 테스팅하는 것

- MAB: Multi-Armed Bandit. 동시에 여러 개를 수행하다 확률이 더 높은 것이 나타나면 그것의 빈도를 높여나가는 것. 기간별로 결과를 측정해 이에 따라 노출될 트래픽 비율을 조정해나감. 서비스 효율이 자동으로 개선된다는 점에서 유용.

- AB test는 만능이 아님: 단순히 여러 개의 선택지 중 '최적'의 선택을 찾아주는 것일 뿐

 

참고한 것들

AB Test 기본부터 심화까지 -1편

AB Test 기본부터 심화까지 -2편

신뢰도 높은 온라인 통제 실험 A/B테스트 - 1편

신뢰도 높은 온라인 통제 실험 A/B테스트 - 2편

 

 

2. 개인 프로젝트: A/B 테스트 실습

패스트캠퍼스의 '직장인을 위한 파이썬 데이터분석 초격차 패키지' Ch28. 모바일게임 A/B Testing을 바탕으로 합니다.

A/B test: 웹, 앱, 게임, 마케팅 등에서 서로 다른 2개 상황의 반응률을 비교해 A(기존의 것)와 B(새로 해보고자 하는 것)중 어떤 것이 더 효과적인지 판단하는 방법론. 실험 설계 및 가설 수립 -> 실험 진행 -> 결과 분석의 3단계로 진행됨.

- 연속형 변수는 (p-value 기반) t-test로 확인, 범주형 변수는 카이제곱 검정으로 확인: 차이가 있는지 같은지

- 업데이트할 버전과 이전 버전의 1일 리텐션율과 7일 리텐션율 비교: 피벗테이블로 한눈에 파악, 등분산성 만족 여부 확인 후 t-test로 p-value 확인

    - 등분산성: stats의 bartlett를 사용했을 때 p-value가 0.05 이상이면 등분산성 만족X(귀무가설 기각). 0.05 미만이면 등분산성 만족(귀무가설 기각X)

    - t-test: stats의 ttest_ind를 사용. 파라미터에 앞서 확인한 등분산성 여부를 적어줌(`equal_var=True` 같은 식)

- 업데이트할 버전과 이전 버전의 1일 리텐션('접속자 수')과 7일 리텐션('접속자 수') 비교: 카이제곱 검정으로 동일한지 확인

    - 카이제곱 (동질성) 검정: stats의 chi2_contingency를 사용했을 때 p-value가 0.05 이상이면 동질하고(귀무가설 기각), 0.05 미만이면 동질하지 않다(귀무가설 기각X)

- 유의미한 경향성을 확인하기 위해 한 번의 테스트로 그치지 않고 추후에 한 두번 다시 시행해보기도 함

 

 

3-1. 티오베 지수

티오베 선정 ‘올해의 프로그래밍 언어’의 비밀 | 요즘IT

티오베 지수: 프로그래밍 언어의 인기도 측정 지표

- 작년과 올해 모두 파이썬이 1위, 그 뒤를 C, Java, C++, C#이 순서대로 2, 3, 4, 5위를 차지하고 있다.

- 25개 웹사이트에서 언어를 검색했을 때 나오는 결과 자료 수를 기반으로 계산하는 'Rating'값, 전 세계에서 해당 언어를 사용하는 소프트웨어 엔지니어/교육과정/소프트웨어 개발업체 수 반영.

    - Rating값은 언어와 검색엔진 결과 조회수의 가중합으로 계산

> 자사 주력 상품과 관련된 시장조사 겸 회사를 알리는 지표로서 티오베 지수를 발표하고 있다는 건데, 이런 기획이 쉽지는 않았을 것 같다. 새삼 기업이 무언가를 할 때에는 그로 인한 이익을 고려한 것이 다수라는 사실을 실감한다.

 

 

3-2. 사용성 평가, 피드백 수집

‘사용성 평가’로 생생한 유저 피드백 수집하기 | 요즘IT

사용성 평가: Usability Test, 사용자에게 직접 서비스를 써보게 한 후 UI의 문제점을 파악, 개선하는 방법.

- 기획Plan -> 수행Conduct -> 분석Analysis -> 보고Report의 과정을 거쳐 진행됨.

    - 기획: 목표 정의(정성/정량, 경쟁 서비스와의 비교 등), 참가자 모집(실제 사용자를 모집하되 목표에 따라 참가자를 거름), 과업 선정(사용자가 수행해야 할 과업 선정, 상황 시나리오 작성), 평가항목 정의(주관/객관), 인터뷰 질문 및 평가 절차서 정의(과업 수행 전/중/후 질문 구분), 사용성 평가 룸 세팅(카메라, 마이크, PC 등), 파일럿 테스트(원활한 진행을 위한 시행착오)

    - 수행: 진행자는 1)참가자가 편안하게 이야기 할 수 있도록하고 2)중립적인 자세를 유지하며 3)생각을 말로 이야기 할 수 있도록 유도해야 한다. 관찰자는 1)사용성 평가 과정을 기록하고 2)과업 흐름도를 기반으로 오류행동을 기록해야 한다

    - 과업 완료 후에는 사후 인터뷰나 설문지 등을 작성하게 하여 어떤 경험이 긍정/부정인지 파악, 분석한다. 이는 추후 해결방안 탐색으로 이어진다.

- 사용성 평가의 핵심은 실제 사용자를 대상으로 서비스를 사용해보게 한 뒤 그들의 생생한 행동과 목소리를 듣는 것. 이에 기반하여 더 나은 서비스로 개선되어야 할 것.

> 과장 조금 보태서, UX관련 도서 일부를 발췌해 읽는 듯한 느낌을 받았습니다. 설명을 정말 잘 해주셔서 글을 읽으면서 그림이 머릿속에 그려지는 느낌이었어요. 당장은 아니지만, 언젠가 적지 않은 도움이 될 것 같습니다.

 

 

3-3. MECE

MECE 기법 - 우리 회사 직원들이 일 잘 하는 비결 I 이랜서 블로그

MECE: Mutually Exclusive Collectively Exhaustive, 상호배제 및 전체 포괄. 구성 요소들이 중복되지 않으면서 동시에 전체에서 누락되는 것이 없도록 세분화 및 구조화하는 것.

- ex. 연령대를 구분으로 인구를 나눌 때, '0~20세, 21~40세, 41~60세, 61~80세, 81세~'로 구분: 상호 배타적이면서 누락되는 것이 없음

- 이점 (1)효율적으로 일할 수 있음 (2)완벽하게 일할 수 있음 (3)브레인 스토밍이 가능함

- 만드는 방법 (1)양면 분할하기: A와 A가 아닌 것이 쌍을 이루도록 (2)'기타'를 포함해 완성하기 (3)이해관계자 세분화하기: 체계적으로 구성 (4)(프로세스 개선이 필요하다면)프로세스 분석하기 (5)수학공식 사용하기: 특정 metric개선 방법 식별에 사용

 

 

 

4-1. Guide: How to leverage consumer research and insight to enhance your game's audience strategy

https://newzoo.com/resources/blog/how-consumer-insight-can-enhance-your-games-audience-strategy

포괄적인 연구 기반의 소비자 인사이트는 게임 개발사와 배급사에게 큰 도움이 된다

- 크게 세 단계의 게임의 수명주기lifecycle로 나누어 보면, 컨셉 그린라이팅 단계에선 핵심 유저 타겟팅 및 페르소나 설정 과 이해 제고에 도움을 주고, Go-to-market 단계에선 타겟팅된 마케팅 계획 수립에 도움을 주며, 런칭 이후에는 게임 분석과 콘텐츠 추가 등에 도움을 준다. 

    - 컨셉 그린라이팅 단계: 핵심 타겟 유저에 대한 이해는 게임 콘셉의 시장 잠재력을 평가하고 잠재 유저를 식별하는데 도움: 자원 할당, 출시 전략 결정, 수익화 전략 수립 가능

    - Go-to-marekt 단계: 타겟 유저들에게 더 잘 다가갈 수 있도록 설계함: 마케팅 목표 달성 가능:: (신규 출시 게임의)마케팅 목표는 최대한의 관심과 인지도를 얻어 구매와 플레이를 유도하는 것

    - 런칭 이후 단계: 타겟 유저들 뿐만 아니라 보조 타겟(노릴 수 있는 다른 유저군)에게도 매력적이도록 만듦, 시장 확장 시 각 시장의 특징 고려

> 게임 수명주기 등을 설명하며 자사의 제품('포괄적인 연구 기반의 소비자 인사이트')을 광고하는 아티클입니다. 광고 부분을 배제하고 요약하다 보니 무언가 매끄럽지 않은 듯 하네요... 굳이 뉴주가 아니더라도, 소비자 인사이트를 추적하고 업계 트렌드를 파악하려는 노력이 필요한 이유를 상기시키는 듯 합니다.

> 요약하다보니 문득 이전에 들었던 AWS웨비나도 생각나네요. 그때도 비즈니스 관련 지식들에 자연스럽게 AWS 제품들을 홍보하는 느낌이었는데, 그냥 광고보다는 이런 콘텐츠가 심리적 반발감이 덜하다는 걸 다들 알고 활용하는 거겠죠?

 

 

4-2. 콘텐츠 리뷰

🧢 많이 그리고 오래 시도할수록, 확률은 더 정확하게 나타납니다!

- 나쁜 상황은 나쁜 상태가 아니다. 모든 절망은 희망을 품고 있음을 기억해야 한다.

- 실패는 혁신을 성공시키는 데 대단히 중요한 요인이 된다. 혁신으로 가는 과정에서 스스로의 약점을 일찍 발견할수록, 고쳐야 할 것을 더 빨리 고칠 수 있기 때문이다.

- 다양성은 성공을 가능케 하는 최상의 조합을 만들어내며, 그 조합이 제대로 된 실력을 발휘하려면 '리더'가 필요하다.

> 대부분의 콘텐츠에서 성장 서사를 다루는 이유는, 우리가 실패를 나쁜 것, 부정적인 것으로 생각하는 경향이 강해서일 것입니다. 미숙하고 약해빠진 인물이 고난과 실패를 경험하며 강하고 성숙한 사람이 된다는 게 감동적이기도 하지만, 현실의 우리가 나약하기 때문이 더 클 거라고 생각해요. '실패해도 괜찮다'고, 더 성장할 수 있다고 다독여주어야 더 많은 시도와 실패가 이루어지고, 그만큼의 성공과 성장이 있을테니까요.

 

🧢 실행되지 않은 계획은 아무런 의미가 없어요!

- 2022년 K-콘텐츠의 총 매출액은 반도체 매출액을 뛰어넘었다: 148조 1607억원 기록

- 글쓰기는 머릿속의 '생각'을 '글'이라는 형태로 전환하는 행위에 불과하기 때문에, 글쓰기가 어렵다는 것은 '생각하는 것'이 어렵다는 것일 수 있다. 

 

🧢 성공하는 방법은 의외로 굉장히 심플할 수 있어요!

- 반복은 욕망을 이길 수 있다. 인간 행동 중 욕망을 능가할 수 있는 유일한 행동이 '반복 행동(=습관)'.

- "행동하지 않은 것에 대한 후회는 행동했던 것에 대한 후회보다 더 오래 살아남는다. 현재적이며 완료되지 않았기 때문에 그것을 더 자주 상기시키는 것이다." 

- 성공하려면 1)우선은 자신이 좋아하는 일이 뭔지, 자신에게 도움이 되는 일이 뭔지부터 명확하게 찾고 2)그 다음에는 자신이 좋아하는데 다른 사람도 좋아하는 일, 자신에게 도움이 되면서도 다른 사람에게도 도움이 되는 일을 찾아서 열심히 잘하면 된다.

 

🧢 매일 걷지 않으면, 계속 손해보는 거예요

- 즉각적인 보상에 중독되면 긴 시간을 숙고하거나 장기적인 관점을 가지는 것이 어려워질 수밖에 없다.

> 숏폼과 요약영상이 넘쳐나는 시대, 그걸로도 모자라 1.5배속과 2배속 시청으로 '시성비'를 따지는 시대가 저는 그닥 달갑지 않습니다. 2배속 시청까지는 인지기능에 혼란을 주지 않는다지만, 과연 그렇게 남의 생각들을 통해 콘텐츠를 경험하는 게 옳은 걸까요? 그걸 '시청했다'고 할 수 있을까요?

> 뭐, 남이 공들여 쓴 아티클들을 긁어와 요약하는 제가 할 말은 아닌 것 같긴 하지만... 그래도 나름대로 변호를 해보자면, 챗GPT로 요약해서 읽는 분들 보다는 제가 좀 더 콘텐츠를 그 자체로 소비한 게 아닐까요?