[ kaggle ] cosmetics ecommerce 분석 : 데이터 적재

1. 데이터 적재

• 데이터베이스는 Google Cloud에 BigQuery를 사용
• 원본 데이터를 Google Drive에 저장 후, BigQuery와 연동
  
  • 2019-Oct.csv
  • 2019-Nov.csv
  • 2019-Dec.csv
  • 2020-Jan.csv
  • 2020-Feb.csv
• BigQuery의 SQL 쿼리문을 통해 데이터를 가공 및 추출

---

Fig 1. BigQuery에 탐색기 추가

 

BigQuery에 새로운 데이터를 적재합니다.

 

적재할 데이터는 Google Drive에 있는 csv 파일을 적재할 예정입니다.

 

데이터를 연동하기 위해 좌측 상단에 있는 '탐색기' → '+추가'를 클릭해 줍니다(Fig 1).

 

 

Fig 2. Google Drive와 BigQuery 연동

 

 

클릭 후 우측 영역 아래를 확인하여 '추가 소스' → 'Google Drive'를 클릭해 줍니다(Fig 2).

 

 

Fig 3. 연동 파일의 링크 확인 1

Fig 4. 연동 파일의 링크 확인 2

Fig 5. url 입력 시, 연동 파일의 id (링크 확인)

 

 

Google Drive에 저장돼 있는 파일의 링크의 id를 확인하기 위해, 해당 파일이 존재하는 위치로 이동합니다.

 

파일 가장 우측을 클릭 후 링크를 복사합니다(Fig 3, 4)

 

링크의 파일 id를 복사 후 'drive.google.com/open?id='에 입력하여 연동합니다(Fig 5).

 

Fig 6. BigQuery에 연동된 csv 파일

Fig 7. BigQuery의 SQL 쿼리문

 

연동 후 csv 파일을 SQL 쿼리문을 통해 불러올 수 있습니다(Fig 6, 7).