siron 님의 블로그

SQL   업무 시작을 단축시켜 주는 마법의 문법 (Window Function - RANK, SUM) 기본 SQL 구조로 해결하기 위해서는 복잡하게 Subquery 문을 이용하거나, 여러 번의 연산을 수행해줘야 하지만, 자체적으로 제공해 주는 기능을 이용하면 조금 더 편리합니다.중요한 것은 윈도우 함수는 해당 행만이 아니라, 그 행을 묶은 단위로 해당 함수를 적용한다는 것입니다.기본구조window_function(argument) over (partition by 그룹 기준 컬럼 order by 정렬 기준)window_function : 기능 명을 사용해줍니다. (sum, avg 와 같이 기능명이 있습니다)argument : 함수에 따라 작성하거나 생략합니다.partition by : 그룹을 나누기 위..

데이터를 쉽게 찾고 잘 활용할 수 있는 기반을 만드는, 데이터 분석 엔지니어 데이터 분석 엔지니어라는 직무가 낯선 분들도 있을 것 같은데요, 토스에서 어떤 역할을 담당하고 계시나요?회사마다 역할의 차이는 조금씩 있겠지만, 토스에서 DAE는 각 제품팀에서 생산하는 데이터가 전사적으로 유용하게 사용될 수 있게끔 데이터를 자산화하고 관련 데이터 파이프라인을 운영하는 역할이며 생산된 데이터를 각 담당 제품 조직 뿐만 아니라 전사적인 관점에서도 쉽게 활용될 수 있게 하는 기반을 만들고 있어요.또한 담당 도메인의 데이터를 구조화/설계하며, 데이터 마트를 구축하고 데이터 표준정책을 수립하고 있죠. 모니터링과 최적화를 통해 데이터 파이프라인 안정성을 유지하며, 새로운 데이터 소스를 적용하거나 변화에도 대응하려 합니다...

데이터 분석가에게 코딩테스트가 필요할까? 코딩테스트란 무엇인가? 개발자에게 필요한 역량을 확인하는 목적으로 코딩시험을 보며 코딩 시험이 생소한 분들을 위해 코딩 시험이 어떤 과정으로 이뤄지는지 간단히 설명하면 아래와 같습니다. 실제 업무와 유사한, 그러나 ‘상당히’ 줄어든 범위의 문제를 풀어내는 코드를 작성하고, 시험을 위해 주어지는 예시 데이터들을 기준으로코드가 정상적으로 돌아가고, 올바른 결과 값을 보여주는지그 과정에서 메모리를 비롯한 컴퓨팅 리소스를 얼마나 효율적으로 활용하는지계산 시간은 어느 정도 걸리는지즉, '특정 프로그래밍 언어를 사용하여 주어진 문제를 잘 해결할 수 있는지'의 기술적인 부분을 확인하는 시험입니다.특이한 점은 코딩테스트를 제공하는 서비스(또는 기술 면접 과정)에서, C, 자바(..

SQL 질문 잘하는 방법 문제를 해결하는 두 가지 방법인터넷으로 검색한다.같이 공부하고 있는 사람 또는 멘토에게 물어본다.각각 어떤 전략으로 접근해야 내가 원하는 답변을 빠르게 얻어내고 문제를 해결할 수 있을지 생각해 봅시다.  질문 전 체크리스트SQL 초보자들이 자주 하는 실수들을 정리해 봤습니다. 아래 사항을 꼭 점검해 봅시다.코드에 오탈자가 있는지 확인했나요?쿼리 실행 후 에러메시지를 읽어보고 그에 맞게 조치를 취했나요?문제에서 요구하는 조건을 빠짐없이 작성했나요? (WHERE절의 필터링 조건, ORDER BY절의 정렬 조건, SELECT절의 컬럼명이 정확하게 정의 됐는지 확인해 주세요!)질문에 포함된 쿼리를 실행해 봤나요? (질문 사항 이외에 다른 에러가 발생하는지 꼭 확인하세요!)여러 DBMS를..

가설을 검증하는 데이터의 역할, 가설을 세우는 직관의 역할 서비스 운영은 가설을 세우고 검증하는 일의 연속입니다. 이때 데이터는 가설을 검증하는 도구입니다. 유저가 불편하다고 느끼는 기능을 데이터로 확인할 수도 있고, 고객의 취향과 일치한다면 데이터로 파악해 추천할 수도 있습니다. 때로는 데이터 분석 수치에 따라 기능이나 서비스의 목적 자체가 변경되기도 합니다.가설은 직관의 영역입니다. 데이터로 고객의 사용 패턴을 알 순 있어도, 고객의 마음까지 읽어낼 순 없으니까요. 데이터는 가설을 뒷받침할 뿐 그 자체로는 의미가 없습니다. 데이터의 침묵을 읽어내는 것은 다름 아닌 직관입니다. 직관을 발달시키고 활용하는 게 중요한 이유입니다. 이처럼 데이터를 직관적으로 해석하고 가설을 세우는 능력이 최근 주목받는 ‘데..

어떤 역량을 특화할 것인가? 데이터 사이언티스트에게 요구되는 역량의 종류 만큼이나 다양한 성장 경로가 있다. 필자가 생각하는 주된 성장 경로는 1) 도메인 전문성과 네트워크를 키워 PM 혹은 경영자와 같은 도메인 전문가 2) 통계 및 머신러닝 방법론에 특화된 분석 전문가 3) 개발 및 시스템 역량을 키워 분석 역량을 갖춘 엔지니어로서 성장하는 길 등이다. 여기에 업종 및 기업 규모라는 변수를 더하면 세상에는 정말 다양한 성장의 기회가 존재한다. 개인에 따라 이중 여러가지를 겸할수도 있고, 여러 회사를 거치며 장기적으로는 다양한 역량을 쌓을 수 있지만, 커리어 및 배움의 방향성이라는 측면에서는 한번에 하나씩 선택해서 집중하는 것을 권하고 싶다. 물론 동시에 여러 기회를 제공하는 포지션도 있을 것이고, 이를..

데이터 분석가는 도구와 프로세스를 사용하여 데이터에서의 의미를 도출하며 데이터 수집, 수정, 조사, 분석, 인사이트 도출, 지식 내재화를 담당합니다.이 때문에 데이터 분석가의 수요는 매우 높으며 기업 경영과 과학 분야에서 핵심적인 역할을 수행하고 있습니다. 데이터란 무엇인가? 데이터의 의미와 정의데이터는 특정 사실이나 정보의 집합을 의미합니다. 데이터는 의사 결정과 계획 수립뿐만 아니라 스토리 텔링에도 매우 중요합니다. 다음과 같이 데이터의 유형을 크게 두 가지로 나누고 있습니다정성적 데이터정량적 데이터 정성적 데이터정성적 데이터는 숫자가 아닌 데이터로, 이미지, 비디오, 텍스트 문서 또는 오디오가 포함됩니다. 이러한 유형의 데이터는 측정하거나 계산할 수 없습니다. 대신, 사람들이 특정한 대상을 어떻게 ..

마케터에게 데이터분석이란? 필요할까? 데이터분석 능력이 왜 필요할까?데이터분석 능력을 '어떻게' 준비하는지 보다는 마케팅에서 데이터분석이 '왜' 필요한지가 더 중요합니다.목적이 명확해야 방향성을 올바르게 정할 수 있기 때문입니다.데이터분석이 필요한 이유는 '데이터를 분석해서 나온 인사이트를 바탕으로 더 나은 의사결정을 하기 위해서'이라고 생각합니다.예를 들어 감으로 A를 선택하는 것보다 A, B, C, D, 지표에 근거해서 A를 선택하는 것이 성공 확률을 높이기 때문입니다.특히 디지털 중심으로 운영되는 브랜드의 경우는 데이터에 대한 의존도가 더욱 높습니다.브랜딩 콘텐츠를 제작하는 '콘텐츠 마케터'와 앱 서비스의 질적 성장을 만드는 '그로스 마케터'는 각자 역할이 다릅니다.   데이터분석 실제로는 어떻게 ..

이번 글에서는 SQL 문법에서는 강제하지 않지만 가독성 있는 SQL 코드를 쓸 수 있는 다섯 가지 습관들을 알려드리겠습니다. 예약어는 대문자로SELECT, FROM, GROUP BY, HAVING, AS, AND와 같은 SQL 예약어를 대문자로 쓰는 습관입니다.에디터마다 규칙이 다르고 DB 종류마다 함수 이름들도 약간씩 다르기 때문에  제대로 강조되지 않는 경우가 많습니다 특히 DATE_ADD() 같은 날짜 함수는 DB마다 차이가 크게 납니다, 그래서 예약어, 함수 이름 등은 대문자로 써주는 습관을 들이면 자신이 쓴 코드를 쉽게 구분할 수 있습니다.  행갈이를 자주 하자하나의 라인에 코드를 쭉 쓰면 작성할 때만 편하고 나중에 그 의미를 파악하기 위해 모든 코드를 다시 읽어 봐야 합니다.행갈이를 자주 한다..

데이터 분석가에 대한 정의데이터 분석가는 데이터에 기반해 성공 확률이 높은 의사결정을 지속적으로 하도록 돕는 사람이라고 표현할수 있다.데이터 분석가에게 중요한점 3가지로 1)데이터 기반 2) 성공 확률이 높은 의사결정 3)지속성   데이터 기반데이터 분석가의 주요업무는 데이터에 기반해 의견을 내는것입니다 그러나 데이터가 잘 활용되지않거나 잘 쌓이지 않는 조직도 많기 때문에 데이터 분석 작업 이전에 데이터가 흐르는 조직을 만들어야한다. 데이터가 흐르는 조직데이터 분석가가 조직에 기여할 수 있는 방법을 순서대로 표현하면 1)데이터가 흐르는 조직 ▶ 2)스토리텔링 분석,목표 설정,실험 ▶ 분석 고도화 여기서 데이터가 흐르는 조직은 첫번째 단계로 속합니다. 실무자가 필요한 데이터가 있을 때 쉽게 데이터를 확인할..