[강의 수강 1일차] 인프런 초보자를 위한 구글 BigQuery 입문하기

업무를 하면서 SQL의 필요성이 커졌다.

실제로 추출하고 분석까지의 업무 효율화를 위해 필요하다고 생각했다.

 

필요하게 된 계기는 아래와 같다.

문제점 : 추출 업무는 따로 요청해서 추출하다 보니 내가 필요한 데이터셋과 추출된 데이터가 다른 경우가 있다.

➡️ 바로 현황 파악하며 데이터 추출하고 싶은 데 어려웠다. 빠른 확인이 필요했다.

 

✅ 따라서 분석의 효율성과 EDA 과정을 수월하게 하기 위해 로우 데이터 추출하는 연습이 필요하다.

 

Google BigQuery를 공부해야 하는 이유

회사 데이터셋의 경우, Google Cloud Platform(GCP) 로 데이터 웨어하우스, 데이터셋, 테이블 관리 중
따라서 주문 데이터, 고객 데이터 속에서의 데이터 탐색을 위해 Google BigQuery 활용이 필요한 상황

 

이런 상황에 따라 아래의 목적과 목표, 방향성에 따라 빅쿼리를 공부해보고자 한다.

기본적으로 일단 활용해보기가 목표이기 때문에 아래의 무료 강의로 진행해보고자 한다.

https://www.inflearn.com/course/%EC%B4%88%EB%B3%B4%EC%9E%90%EB%A5%BC-%EC%9C%84%ED%95%9C-%EB%B9%85%EC%BF%BC%EB%A6%AC-sql-%EC%9E%85%EB%AC%B8

[지금 무료]초보자를 위한 BigQuery(SQL) 입문 강의 | 카일스쿨 - 인프런

 

학습 목표 및 목적과 방향성

목적	1️⃣ 현업 실무에 SQL 활용해 자유자재로 추출하기 위함 2️⃣ 회사에서 풀어야 하는 문제가 있다면 데이터 기반으로 문제 생각하기 3️⃣ 이후 교육 프로젝트에 확장 활용하기 위함
목표	1️⃣ 나만의 SQL 작성 치트시트(템플릿) 만들기 2️⃣ 어떤 것을 해야 할 때 어떻게 해야 할까 쿼리 모음과 생각의 흐름 정리하기(*일종의 오답 노트)
방향성 : 업무에 활용하며 학습 동시 진행	1️⃣ 문제 - 풀기 - 생각의 흐름 정리하며 플로우 익히기 2️⃣ ~5/25 강의 1회독 완료 3️⃣ 문제 풀이 + 오답 노트화하여 SQL에 익숙해지기 4️⃣ 이해 되지 않는 부분 2회독 5월 말~6월 중순 진행 ⇒ 이후 반복!

 

내가 왜 하고자 하는 지 알아야 공부할 때 흔들리지 않기 때문에 초기에 작성해보았다.

 

5.4(일) 공부한 것

 

☑️ 섹션 1 : 강의 소개 & 상황별 추천 수강 방법 ➡️ 이를 통해 수강 목표를 세우고 방향성을 잡았다.

☑️ 섹션 2 : 빅쿼리 기초 지식과 환경 설정, 구글 빅쿼리를 세팅하고 대시보드를 이해했다.

☑️ 섹션 3 2-1~2-2 : 데이터 활용과 구조에 대해서 간략하게 이해했다.

 

섹션 2. 구글 빅쿼리의 환경 구성 요소

프로젝트 > 데이터셋 > 테이블로 이해하면 되며 테이블이 우리가 기본적으로 아는 엑셀의 하나의 탭에 있는 정보라고 보면 될 것 같다.

 

섹션 3. 구글 빅쿼리의 환경 구성 요소

 

SQL 쿼리를 작성하기 전에 이해해야 하는 부분은 "데이터 구조"에 대한 이해이다.

 

데이터를 제대로 이해해야 올바른 데이터 추출을 할 수 있고

실제 현업을 하면서 데이터를 이해하는 일이 중요하다는 것을 다시금 깨달았다.

 

강사님은 구체적인 정의를 항상 확인하면서 쿼리를 작성해야 하는 걸 필수로 생각하고 계신다.

 

☑️ 데이터가 어떻게 저장되어 있는 가? 로직에 대해 생각해보기

☑️ 어떤 데이터가 저장되어 있는 가? 데이터 구조 파악하기

☑️ 컬럼의 의미는 무엇인가? 데이터를 이해하기 

➡️ 데이터를 추출하기 전에 데이터 웨어하우스에 데이터가 어떻게 저장되어있는 지 확인해야 한다.

 

📌 ERD 정의서를 통한 데이터 이해의 중요성

데이터가 저장되는 형태를 알려면? ERD 정의서를 보면 된다.

☑️ ERD (Entity Relationship Diagram) : 데이터베이스 구조를 한눈에 알아보기 위해 사용 

➡️ 컬럼을 이해하고 어떻게 연결이 되어 있는 지에 대해서 공통 컬럼을 이해해보아야 한다. 

 

ERD를 통해 모든 데이터베이스를 직접 보면서 탐색하는 과정도 도움이 될 것 같다.
☑️ 어떤 테이블이 존재하는 가?

☑️ 어떤 컬럼이 존재하는 가?

☑️ 다른 테이블과 연결할 때 어떤 컬럼을 사용하는가?

☑️ 컬럼의 값들은 어떤 의미를 가지는가?

➡️ 내가 자주 보는 테이블에 대한 정리 및 정의서를 작성하고 ➡️ 이후 확장해가며 나를 위한 문서를 만드는 것도 나에게 필요할 듯 하다.

 

✅ 결국 테이블에는 어떤 목적을 가지고 정리를 할 것인가가 주요 Point 라고 볼 수 있을 것 같다.

✏️ 이번 강의와 학습을 통해 느낀점
✅ 데이터 구조를 이해하고 그 데이터가 어떤 목적에서 수집되고 같은 데이터셋과 테이블에 모여있는 지를 이해해야 한다. 

 

💪🏻 Next to do 

☑️ 회사 내에서 수집된 데이터의 구조 자체를 1차적으로 이해하는 것을 목표로 하여 Select 문을 공부하기

☑️ select 절 > select 연습 문제 강의 수강과 함께 Practice&Learn 과정을 통해 select 자체를 이해해보도록 하기