Hello Data Engineering!

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

2장 이상 + 500자 이상
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

아.. Feast가 그나마 사용하기 쉬운 오픈소스였구나.. ㅎㅎ

그래도 나는 AWS S3, Athena를 잠깐 써봤고, 최근에 새로 맡은 업무덕분에 GCP를 사용하면서 GCS, 빅쿼리, 파이썬 등을 살짝이라도 다루고 있는게 다행인 건가 싶다. 물론 메인 업무는 전혀 다른 업무지만 ㅠㅠㅠ

클라우드 서비스는 이제 대세가 되었다. 안 써봤다면 하루 빨리 강의를 수강해서라도 접하기를 추천한다. 그러기에는 패스트캠퍼스 강의가 너무 찰떡인 강의다. 내가 하고 싶은 되고 싶은 분야에서 필요한 스킬셋을 체계있게 구성해서 전달해주는 강의라면 비용을 지불해서라도 들을 만하다. 무료강의도 좋은 강의가 많지만 처음에 무얼 공부해야 할지 모르겠다면 친절한 패캠 강의 추천한다. 평생강의를 가지고 있다면 내가 필요할 때 언제든지 찾아서 들을 수 있다는 큰 장점이 있다.

역시 책을 통한 간접경험도 중요하지만 실제 경험으로 체화시키는 것도 겸하면 더 좋겠지.

이 다양한 정글같은 생태계 속에서 도구들을 자유자재로 사용하는 전문가들 정말 존경스럽다. 나도 그렇게 되고 싶다!

현실은 온실같은 강의 속 환경이 그대로 적용될리 만무하다ㅠㅠ 심지어 수강할 때는 잘 되던 사소한 곳에서 에러가 나고 아무리 찾아보아도 해결이 안 되고... 끝없는 좌절, 삽질의 무한반복. 한번에 잘 되는 전문가도 처음에는 수많은 시행착오를 겪었기에 그렇게 능숙하게 작업을 할 수 있는 거겠지라는 생각으로 위로해본다.

https://docs.min.io/docs/minio-docker-quickstart-guide.html

MinIO 공식문서에 있는 실행방법

- Run Standalone MinIO on Docker: 프로덕션 단계에서는 비추지만 일단 쉬운 버전으로 고고!

docker run \
  -p 9000:9000 \
  -p 9001:9001 \
  -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \
  -e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  quay.io/minio/minio server /data --console-address ":9001"

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC

Feature Server를 생성해보자!!!

선임자가 없는 업무를 맡아 혼자서 맨 땅에 헤딩, 삽질만 무한반복하는 힘든 시기라 몸과 마음이 잔뜩 가라앉아사 힘들지만 ㅠㅠ 일단 자리에 앉아서 Feature Server를 공부해본다.

그래도 이렇게 친절하게 알려주는 강사님이 있으니 마음에 위안이 된다는.

https://docs.feast.dev/reference/feature-servers/local-feature-server

Local feature server

The local feature server is an HTTP endpoint that serves features with JSON I/O. This enables users to get features from Feast using any programming language that can make HTTP requests. A remote feature server on AWS Lambda is also available. A remote feature server on GCP Cloud Run is currently being developed.

로컬 기능 서버는 JSON I/O로 기능을 제공하는 HTTP 엔드포인트다. 이를 통해 사용자는 HTTP 요청을 할 수 있는 모든 프로그래밍 언어를 사용하여 Feast에서 기능을 얻을 수 있다. AWS 람다의 원격 기능 서버도 사용할 수 있다. GCP Cloud Run 원격 기능 서버는 현재 개발 중이다.

도커 이미지를 빌드해본다라...

도커는 커녕 전혀 해본 적 없는 업무를 맡게 된 나는 관련 업무를 빨리 해보면서 실무에 적용해보고 싶다.

미래의 나를 위해서 이렇게 강의를 듣고 있는 나는 잘 하고 있는 거다라고 칭찬해주고 싶다.

미래의 내가 나를 응원한다라고...

공식사이트에 있는 Server 실행 소스를 보자!

그래도 신기한건 이제 이런 영어문서나 명령어들이 막연하고 답답하게 다가오는 것이 아니라 새로운 거구나. 어떤 것을 알아볼까라는, 찾아보면 되지라는 자신감이 생기기 시작했다.

정답이 있는 것이 아니라 내 상황에 맞춰서 내게 맞는 답을 만들어 가면 되는 거다.

$ feast init feature_repo
Creating a new Feast repository in /home/tsotne/feast/feature_repo.

$ cd feature_repo

$ feast apply
Registered entity driver_id
Registered feature view driver_hourly_stats
Deploying infrastructure for driver_hourly_stats

$ feast materialize-incremental $(date +%Y-%m-%d)
Materializing 1 feature views to 2021-09-09 17:00:00-07:00 into the sqlite online store.

driver_hourly_stats from 2021-09-09 16:51:08-07:00 to 2021-09-09 17:00:00-07:00:
100%|████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 295.24it/s]

$ feast serve
This is an experimental feature. It's intended for early testing and feedback, and could change without warnings in future releases.
INFO:     Started server process [8889]
09/10/2021 10:42:11 AM INFO:Started server process [8889]
INFO:     Waiting for application startup.
09/10/2021 10:42:11 AM INFO:Waiting for application startup.
INFO:     Application startup complete.
09/10/2021 10:42:11 AM INFO:Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:6566 (Press CTRL+C to quit)
09/10/2021 10:42:11 AM INFO:Uvicorn running on http://127.0.0.1:6566 (Press CTRL+C to quit)

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.
패스트캠퍼스 바로가기: https://bit.ly/37BpXiC