취준생의 계륵

쿠버네티스 릴리즈 1.24부터 Dockershim이 제거되었다. Docker 지원을 하지 않는 이유는 쿠버네티스를 서비스하고 있는 회사 CNCF는 Vendor Lock을 싫어한다. Docker는 사기업이기 때문에 Vendor Lock에 걸릴 가능성이 있었고 이에 Docker의 의존성을 없애는 판단을 한 것 같다. 최근 Minkube로 Kubeflow pipeline을 구축하였었는데 GPU를 할당하는 과정에서 driver=docker는 GPU지원이 되지 않았다. 그래서 Docker를 사용하지 않는 최신버전을 공부할 필요를 느끼게 되었고 그렇지 않아도 쿠버네티스 자격증을 따볼까 생각하던 차에 이렇게 되버렸으니 k8s를 제대로 공부할 생각이다. 이번 포스트의 환경은 k8s v1.25.2버전이며 ubuntu20..

이번 포스트에서는 나머지 5개 노드를 연결한 파이프라인을 연결한 것을 작성해보려고 한다. 쿠버네티스의 기본적인 사용방법만 알고 시도해보았는데 kubeflow 자체를 사용하는 것은 어렵지 않지만 파이프라인을 커스텀하는 것에 부족함을 많이 느끼게 되어서 최근에는 쿠버네티스를 기초부터 학습해보는 중이다. Pipeline kubeflow로 구축해본 파이프라인은 아래처럼 총 6개 노드로 구성되어있다. kfp import kfp from kfp import dsl from kfp.components import OutputPath from kfp import onprem def convert_json(): return dsl.ContainerOp( name='Convert Data', image='crysiss/k..

지난 빅데이터 공모전에서 받은 데이터 셋으로 XGBoost로 추천시스템을 구현해보고 이것을 kubeflow로 파이프라인을 구축 하는 중이다. 맨땅에서 시도하다보니 너무 많은 이슈가 발생해서 정신이 없지만 확실히 에러한테 맞아가면서 익히는게 학습이 빠른거 같다. kubeflow로 s3에서 데이터를 불러오는 것부터 배포하는 것까지 pipeline 노드 별로 작성해 보려 한다. 이번 포스트는 AWS S3 버킷에서 csv를 받아와서 csv를 json으로 변환하는 노드이다. GitHub - kch8906/kubeflow-xgboost-recommendation Contribute to kch8906/kubeflow-xgboost-recommendation development by creating an accou..

공식문서 https://docs.docker.com/engine/install/ubuntu/의 방법중 Install using the repository 방법으로 진행 연습으로 진행하는 것이기 때문에 VM으로 ubuntu 20.04 버전으로 가상환경을 하나 만들어서 연습하였다. sudo apt-get update sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg \ lsb-release curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o \ /usr/share/keyrings/docker-archive-keyring.gpg ech..