데이터 사이언스 스킬을 향상시키는 35일 차

Source: Dev.to

최근에 나는 학습 방식이 바뀌고 있음을 느꼈다.
그냥 동작한다는 이유만으로 흥분하지 않는다.
왜 동작하는지, 그리고 내가 주의를 기울이지 않을 때 조용히 깨지는 것이 무엇인지에 더 관심이 있다.

오늘은 그 점을 아주 명확히 보여줬다.

시각화는 판단이다

Matplotlib으로 시계열 데이터를 다루면서 의미 있는 사건이 일어난 지점을 차트에 주석을 달았다. 단순히 선에 라벨을 붙인 것이 아니라 “이 순간은 중요하다”는 말을 하는 느낌이었다.

그때 깨달았다: 시각화는 장식이 아니다. 그것은 판단이다. 강조하는 것이 곧 내가 중요하다고 믿는 것이다.

데이터 가져오기와의 긴장감

동시에 나는 여러 형태의 데이터를 가져오고 있었다—시트가 여러 개인 Excel 파일, 기계 전용 피클 파일, API에서 받아온 JSON 데이터 등.

데이터 가져오기가 간단해 보이지만… 질문 없이 너무 많은 신뢰를 두고 있다는 것을 깨달을 때까지는:

• 올바른 시트를 선택했는가?
• 결측값을 이해했는가?
• 로드되었다는 이유만으로 구조가 “깨끗하다”고 가정했는가?

API와 작업하기

그 다음은 API였다—파일에 존재하지 않고, 내가 만들지 않은 결정에 의해 형태가 정해진 데이터가 다른 곳에 존재하고, 내가 존중해야 할 엔드포인트를 통해 제공된다.

정말 겸손해지는 경험이었다.

교훈

• 데이터 작업에서 가장 흔한 실수는 실력 부족에서 오는 것이 아니다. 초기 단계에서 너무 빨리 진행하는 데서 온다.
• 주석 달기는 나에게 속도를 늦추고 “무엇에 주목해야 할까?” 라고 묻게 만들었다.
• 데이터 가져오기는 구조가 결코 중립적이지 않다는 것을 가르쳐 주었다.
• API 작업은 실제 세계 데이터가 기본적으로 지저분하고, 그것이 정상이라는 것을 상기시켜 주었다.

나는 아직 배우고 있고, 여전히 무언가를 부수고, 또 고치고 있다. 하지만 점점 더 의도적으로 행동하게 되었고, 그것이 진정한 진전처럼 느껴진다.

Question for you: What part of your process do you rush through because it feels “basic,” but probably deserves more care?

— SP