전체 글 69

Uber의 Data Science Team의 비전

아래 내용은 아티클 중 일부를 발췌/번역했습니다. Uber는 각 직원들이 특정 기술적 전문성 없이도 더 나은 결정을 내리고, 결과를 예측할 수 있도록 자신들을 강화하길 원합니다. 최근 이벤트에서 Uber의 데이터 과학 책임자 Franziska Bell은 세계 최대 규모의 교통 네트워크 회사가 모든 직원들이 데이터 과학자처럼 자신들의 직무를 수행할 수 있도록 바란다고 말했습니다. Bell에 따르면 이렇게 하면 회사는 손쉽게 이용 가능한 모든 데이터 세트에서 깊은 인사이트를 얻어 직원과 고객 모두에게 우수한 경험을 제공할 수 있게 될 것입니다. Uber는 서로 다른 부서의 팀이 풍부한 데이터 포인트를 통해 지속적으로 상호 작용하는 플랫폼화를 통해 이를 달성하고자 합니다. Uber는 또한 엔지니어링, 제품 및..

2023년 3월 회고.

What I did 본격적인 수익성 분석을 시작했다. 우리 회사의 비즈니스 모델은 SAAS보다는 마켓플레이스 형태라고 볼 수 있다. 주요 거래 형태에 거래액 기반의 결제 수수료에서 나오고 있다. 이 과정에서 사용하고 있는 PG사나 마켓에 따라서 거래액 대비 수수료가 달라지기 때문에, 이를 취합해서 대시보드로 제공하거나 분석하는 작업을 했다. 여기에 주로 나가는 서버 비용등을 차감하는 형태로 수익성 개선을 위한 방안을 마련하는 작업을 추가로 진행하고 있다. 또한 2월에 산출한 LTV 산출과 관련된 부분을 접목해서, 사용하는 비용 대비 미래의 수익성 등을 접목해서 확인할 수 있는 방법을 고도화 할 예정이다. 이 과정에서 Pricing에 대한 관심을 가지게 되었다. 그 배경은 Shopify는 구독료 등을 받으..

잡상들/회고 2023.03.26

[시계열분석] Prophet 모델 Trend Changepoint(변곡점)의 활용

들어가면서 시계열 분석에서 중요한 것 중 하나가 변곡점(changepoints)이다. 시간의 흐름에 따라 나타나는 패턴이라는 것이 매번 동일한 수준으로 발생하지 않는다. 어떤 순간을 기점으로 상승세나 하락세의 흐름이 변화하기도 한다. 주식을 예로 든다면, 일시적인 조정을 하락세로 판단하고 보유한 주식을 전량 처분하거나, 순간적인 반등인데 상승세로의 전환으로 판단하고 풀베팅을 때린다면 문제가 될 것이다. 따라서 시계열 분석에서 의미있는 변곡점을 파악하는 것은 중요한 과제다. Prophet 모델은 변곡점 분석을 위한 기능을 제공한다. Trend Changepoint는 시계열 데이터에서 추세 변화가 일어날 수 있는 지점을 나타낸다. 다행히 Prophet 모델은 이런 변곡점을 자동으로 감지하고, 이를 반영하여 ..

[시계열분석] Prophet 모델에 독립변수 추가하기

들어가면서 우리가 어떤 변수에 대한 예측치를 정할 때, 그 예측치의 추세에 영향을 주는 것들이 있다. 예를 들면, 첫 구매 프로모션 혜택을 받게 될 고객을 예측한다고 가정해보자. 이런 경우, 첫 구매 수치는 아무래도 회원가입 추세를 따라가게 될 가능성이 크다. 이런 것처럼 어떤 변수를 예측할 때, 다른 원인이 되는 독립변수를 분석에 결합한다면 조금 더 정확한 추세를 분석할 수 있을 것이다. Prophet에서도 모델에도 add_regressor이라는 기능을 제공하고 있다. # Prophet에 사용할 데이터프레임 생성 prophet_df = first_df[['first_promote_day', 'first_cnt', 'join_total']].rename(columns={'first_promote_day'..

[시계열분석] Prophet 모델에 한국 공휴일 추가하기

들어가면서 내가 처음 입사했을 때, 회사에서는 매월 주요 지표를 예측하는 과정은 기존에 엑셀의 회귀분석 기능을 활용했다. 나도 작년까지는 이런 회귀분석과 Cohort 추이 분석을 토대로 필요한 예측치를 산출하고는 했다. 다만, 시계열 분석을 공부하는 과정에서 이런 방식이 가지는 한계를 느낄 수 있었다. 그래서 시계열 공부를 시작했고, 그 과정에서 메타에서 제작한 prophet 모델을 알고 이를 실무에 도입하고 있다. prophet 모델이 Excel에서 제공하는 회귀분석 기능과 비교해서 가지는 장점은 다음과 같다. 계절성 및 휴일 패턴을 고려: Prophet 모델은 시계열 데이터에서 계절성 및 휴일 패턴을 고려하여 예측할 수 있습니다. 이는 Excel의 회귀분석에서는 별도로 처리해야 하므로 복잡하고 번거로..

2023년 2월 회고.

아직 2월이 끝나기까지 2일 정도 남았다. 다만, 시외버스를 타고 할머니댁을 다녀오면서 너무 많은 에너지를 쓴 상태라, 씻고 자리에 앉으니 다른 일을 하기 어려운 상황이다. 그래서 추가적인 일을 하는 대신, 2023년 2월의 회고를 오늘 작성하게 됐다. ① 시계열 분석과 모델링을 공부하고 있다. 인터넷을 통해, Meta의 Prophet 모델 등 활용가능한 방법을 찾고 업무에 적용했다. 다만, 시계열과 예측에 대한 것은 데이터 분석에서 가장 활용도가 높은 영역이기에, 개념을 정리하는 과정이 필요하다고 생각했다. (이전에 물류기획으로 일할 때도 수요 예측 등 시계열 분석의 결과물을 만들 일이 많았다.) 그래서 교재를 구매해서 공부하기 시작했다. 처음에 시계열 맛보기를 할 때는, '이게 왜 통계학과 4학년 과..

잡상들/회고 2023.02.26

조승연의 탐구생활 중 '통계학'편을 보면서

보다가 혼자 감동받아서 남겨보는 조승연의 탐구생활, 리뷰 왕이 되려는 자를 위한 통치가들의 기술 중 가장 중요한 기술로 통계학을 꼽았다. 마지막의 엔딩멘트로 나온 메시지가 굉장히 인상깊어서 이 영상에 대한 기록을 남겨보게 되었다. 실제로 이런 예를 보여주는 것이 있어요. 초등학생도 삼국지나 문명같은 전략 게임을 굉장히 잘하지만, 그 친구를 나라를 다스리는 대통령 자리에 앉힌다고 잘하지는 못할 것이다. 게임에서는 내가 항구를 짓는데 5,000금을 내고 지으면 정확하게 5,000금에 정확하게 3턴 안에 지어진다. 또 수입이 10% 늘어난다고 명시되어있으면 정확하게 늘어난다. 말 그대로 게임 속의 세상은 모든 통계 완벽하게 정확한 세상이다. 통계가 완벽하게 정확한 세상에서는 초등학생도 나라를 다스릴 수 있다...

잡상들 2023.02.20

프로그래머스 SQL 코딩테스트 후기

(주의) 기출 문제 정보는 없습니다. 그냥 처음 보면서 느낀점들, 이후에 볼 때 주의할 사항들에 대해 적었습니다. 준비과정 우선 첫번째로 프로그래머스 내 제공해주는 기출문제를 풀어봤다. 기출문제를 풀었던 것은 문법간 차이를 미리 이해하기 위함이었다. 이전 회사는 Google Bigquery 기반의 SQL을 활용했고, 지금 회사는 Clickhouse 기반의 SQL을 활용했다. Bigquery에서 Clickhouse로 넘어올 때, 굵직한 문법은 비슷했지만 간혹 조금씩 차이가 있는 경우가 있었다. 그런 경험 때문에 시험 때 응시할 MYSQL이 지금 회사의 문법과 차이가 있을 것을 우려해서 프로그래머스에서 제공하는 문제를 미리 풀어봤다. 결과적으로 매우 잘한 일이었다. 프로그래머스에서 제공하는 연습문제를 풀자마..

잡상들 2023.02.18

쇼피파이(Shopify, SHOP)의 2022년 실적 요약 및 분석

Shopify의 재무실적과 관련된 자료는 현재 정리 중에 있습니다. 하단의 공감버튼 클릭 후 비밀댓글로 이메일 남겨주시면, 거래액 등 재무실적이 정리되는대로 전달드리겠습니다. 쇼피파이(Shopify, SHOP)가 실적을 발표했습니다. 쇼피파이의 주당순이익(EPS)은 $0.07이고 매출은 $1.73B으로 시장의 예상치를 상회했습니다. 쇼피파이는 아마존과 함께 이커머스의 미래를 보여주는 대표적인 기업이라 볼 수 있습니다. 특히 사업자를 위한 서비스 제공에 특화된 기업입니다. 이런 쇼피파이가 2022년 진행한 내용을 살펴보면서, 다가올 커머스의 미래에 대해 생각해보았습니다. 1. 2022 Business Highlights 1-1. 2022년 Shopify는 운영 단순화에 집중하여, 사업자들이 가장 중요한 제..

카테고리 없음 2023.02.17

2023년 1월 회고

업무, 공부, 그리고 일상과 관련하여 1월을 정리해본다. [ 업무 ] 리포팅 작업을 조금 더 매끄럽게 하기 위해 노력하고 있다. Confluence에서 제공하는 View Tracker이나 대시보드의 활용 정도를 보면서, 내용만큼이나 형식도 중요하다는 것을 느낀다. 데이터, 정확히는 수치로 된 내용을 읽는 것이 내가 독일어나 스페인어로 된 리포트를 읽는 것과 같은 느낌일 수 있다는 마음으로, 최대한 직관적이고 깔끔하게 전달하기 위해 고민하고 있다. 이번달에 인사평가를 진행했다. 입사한지 1년이 다 되어가는 시점이기 때문이다. 회사에서 정해준 양식에 맞춰서, 내가 한 일들을 열거했고, 스스로 생각하는 점수 등을 입력하는 방식으로 진행했다. 팀장님께서 점수를 되게 좋게 주셨다. 내가 보여드린 것에 비해 너무 ..

잡상들/회고 2023.02.04