[사용해봐요 Dataprep] 5편 – 후기

본 내용은 [사용해봐요 Dataprep] 4편 – Dataprep Join 기능 포스팅에서 이어지는 내용입니다. 참고 부탁드립니다 🙂

[사용해봐요 Dataprep] 5편 – 후기 목차

  • 실패담 공유
    • 실패담1
    • 실패담2
    • 실패담3
  • 소감

실패담 공유

실패담1

export단계에서 뭐가 잘 안되어서 고친답시고, storage 에 생성된 Dataprep관련 버킷과 데이터 싹 날리고 다시 export하면.. 계속 오류납니다.

Storage 안에 있는 데이터들은 dataprep의 결과물이 아니라, 기반이 되는 연동(?)데이터 인 것 같아요.

그래서 저는 reset하기 위하여, Storage와 Dataprep의 데이터 둘 다 지우고 완전히 깨끗한 상태에서 다시 시작했습니다.

실패담2

Birthday의 birthday열을 date/time 으로 데이터 형식을 변환하고 싶었습니다. 무슨 이유에선지 자꾸 빨간색 표시가 나면서 에러가 나더군요. 결국 표시하고 String 형식으로 진행했습니다. 

Date/time 포맷 변경하는 걸 하고 싶었는데.. 다음에 방법 찾으면 또 포스팅 하겠습니다.

실패담3

실패담이라기보단, 아쉬운 점입니다.

Dataprep에서 Storage로 export할 때 csv파일이 ‘*.csv’형식으로 깔끔하게 빠지지 않아서 좀 해맸습니다.

처음에 Dataprep → Storage → 로컬 순서로 받아봤다가 csv가 아니어서 당황했습니다. 

‘확장자를 손으로 고쳐줘야 하나..?’싶어서요.

나중에 Dataprep → BigQuery → 로컬 순서로 받으면 ‘*.csv’형식으로 무사히 export되는 것을 알게 되었습니다.

4편 export 포스팅에서 Storage가 아니라 BigQuery로 export를 진행한 이유입니다.

소감

그동안 빅데이터 제품은 BigQuery만 써보고,다른 제품군 만큼 많이 써보질 않았습니다. 데이터 관련 제품은 혼자서 연습하기 애매하고, 엄청나게 비싸다(정확히 말하면 비쌀 것 같다)는 편견 때문이었습니다.

그런데 Dataprep을 직접 써보니 생각보다 진입장벽도 엄청 낮고, 간편한 제품이었습니다.

UI가 직관적이며, 기본 기능은 클릭만으로도 사용할 수 있게 되어있는게, 정말 마음에 들었습니다. 

GCP의 입덕요정이라는 BigQuery와, Storage와 호환이 잘되는 것도 참 좋았네요.

앞으로도 다른 데이터 제품들도 지레 겁먹지 말고 많이 써봐야겠습니다. 

마무리는 달걀 후라이 🍳