[패스트캠퍼스 챌린지 18일차] Feature Store 필요성

데이터 사이언티스트가 직접 Feature Store를 통해 운영에 필요한 Feature들을 배포할 수 있게 해준다니!

과연 이 Feature Store를 도입한 곳이 어디일까?!

 

Feature Store란?
Feature Store는 모델 훈련과 배포 과정의 중복을 줄이기 위해 생겨난 관리형 플랫폼이다.

• Ad-hoc Scripts And Jobs
• Shared Feature Pipelines
• Feature Store
• MLOps with a Feature Store

단순히 저장소의 역할만 하는 것이 아니라 데이터 변형, 모니터링, 제공의 역할도 담당한다.

 

Feature 추출과 제공의 어려움
Feature들은 매우 다양한 데이터 원천으로부터 추출된다.
이로 인해 생기는 어려움들은 무엇일까?

• 데이터 원천의 종류에 따라 지원되는 데이터 변형이 다르다.
• App이 필요한 시간 안에 Feature를 제공하지 못한다.
• Batch, 실시간 데이터, 예측 요청 데이터를 한 번에 처리하는 것이 매우 어렵다.
• 데이터 누수에 의해 훈련/제공 데이터의 차이가 발생한다.

해결책
Feature Store를 통해 필요한 모든 데이터로부터 feature를 추출하고 제공한다.

 

Data Pipeline에 익숙하지 않은 ML Team
Feature 데이터 생성을 위해서 대부분의 경우 데이터 엔지니어를 필요로 한다.

 

해결책
데이터 사이언티스트가 직접 Feature Store를 통해 운영에 필요한 Feature들을 배포하게 된다.

 

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC