Pyspark Pipeline 사용법

Pipeline이란 일련의 '과정'이 포함된 모델

분석할 때, 1) 데이터 변환 2) Logistic Regression 적용 을 해야한다면, 이 단계를 기억하고 과정을 차례대로 거치게 만드는 것이 파이프라인.

각 단계는 변환기이거나 평가기임.

 - 변환기 : 어떤 데이터프레임에서 다른 데이터 프레임으로 변환 - transform()

 - 평가기 : 학습 알고리즘의 추상화. 모델을 생성하는 단계(?) - fit()