데이터엔지니어 5

[데이터 엔지니어링 부트캠프]11월 5주차 회고

좋았던 점 처음 기획에서 기술적인 부분은 많이 타협하기는 했지만, 어찌저찌 구색을 갖춘 웹사이트와 서비스가 만들어졌습니다. 아, 물론 이 글을 적고 있는 이 시간에도 에어플로우(Airflow) 적용이 가능할 지 어떨지를 체크하는 마지막 테스트가 가동 중이지만, 설령 실패하더라도 이 정도면 시원섭섭하나마 잘 마무리할 수 있을 것 같습니다. 아쉬웠던 점 백엔드를 각잡고 했다면 신경쓸 수 있었을 로드 밸런싱과 큐 등의 문제에 대한 지적이 있었습니다. 로드 밸런서는 어찌저찌 AWS EC2에 올리면서 구현했지만 큐 관련 내용은 수업 중에도 전혀 배우지 않아서 미처 생각지 못한 부분인데, 수료 후 다른 사이드 프로젝트를 할 때는 좀 더 신경써볼 부분인 것 같습니다. 백엔드도 고생하면서 구현했는데, 막상 서비스 단계..

[데이터 엔지니어링 부트캠프]11월 3주차 회고

좋았던 점 지난 주의 정체기를 거쳐 이번에는 그래도 기본적인 아키텍처를 실제로 구현할 수 있었습니다. 스프링 부트와 ML 모델의 기본적인 연동이 가능해졌다는 점에서 희망적인 부분을 볼 수 있었지 않았나 싶습니다. 아쉬웠던 점 확실히 추천 시스템과 NLP 관련 내용은 새로 접하게 되는 개념이 많아 이래저래 프로젝트 기간 중에도 공부를 많이 해야 하는 것 같습니다. 당연히 남은 기간 안에 다 구현할 수는 없겠지만 최소한의 서비스에라도 NLP 모델을 적용할 수 있으면 좋겠는데 처음 1주일을 허비한 것 같아 못내 아쉽습니다. 배운 점 새로운 기술을 적용하거나 노하우를 배우지는 않아서 이번 주는 배운 점 파트는 생략합니다! 앞으로 바라는 점 SQLD가 지난 토요일(18일)에 있던 탓에 그 전 날인 17일에는 절반..

[데이터 엔지니어링 부트캠프]11월 2주차 회고

좋았던 점 큰 틀에서의 시스템 아키텍처와 데이터 플로우를 어느 정도 정립하는 데 성공했습니다. 당연히 초창기 버전이라 모든 부분이 완벽하게 구상된 것은 아니었지만, 그래도 조급하게 모델 선정에만 매달리다가 결국 일을 크게 길을 잃을 뻔해서 눈앞이 아찔했습니다. 그나마 마지막에 가서 정신을 다잡고 우리가 너무 성급하게 앞서 갔고 지금은 기초부터 돌아볼 때라고 메시지를 던져 조원들의 동의를 얻어내고 다시 EDA부터 진행해 작업을 정상 궤도에 올릴 수 있어서 다행이었습니다. 아쉬웠던 점 너무 세부적인 주제에 매몰되는 것을 주의해야겠다는 생각을 했습니다. 이번 주 내내 머신러닝 모델을 선정하는, 어떻게 보면 국지적인 주제에만 매몰되어서 그 모델만 알아보고 다른 작업을 거의 진행하지 못했습니다. 데이터에 대한 이..

[데이터 엔지니어링 부트캠프]11월 1주차 회고

자, 드디어 한 달 여 간의 파이널 프로젝트 기간이 시작되었습니다. 그에 따라 멘토님도 각 조마다 배정되어 본격적인 레이스를 시작되었습니다. 좋았던 점 다들 적극적으로 의견을 제시하고 자신이 조금 더 아는 분야는 자기 파트가 아니더라도 조금씩 도움을 주면서 단점을 메꾸려 했습니다. 대표적으로 도커 컴포즈 파일을 구성하는 데 유독 MySQL 탑재가 안 되었던 부분을 포트 문제, 아이피 설정 등의 대안을 제시하면서 결국 해결한 적이 있습니다. 건강 문제나 휴가 등으로 목/금에 한 명씩 빠지면서 프로젝트를 진행했는데 아직까지는 큰 걸림돌 없이 차근차근 진행되는 것 같습니다. 멘토님과는 수요일에 오프라인에서 한 번, 일요일에 온라인으로 한 번 뵈었는데 이 분도 현직에서 10년 이상 근무하셨던 만큼 저희가 놓치고..

[데이터 엔지니어링 부트캠프]10월 3주차 회고

좋았던 점 새로 오신 강사님이 도커, 쿠버네티스 기능과 관련하여 프로젝트의 제작과 배포에 대하여 알려주셨습니다. 어떻게 보면 개발자에게 중요한 또다른 일면이 바로 이 배포 부분인데, 현업에 오래 계셨고 비교적 최근까지도 회사에서 근무하셨기 때문에 그 점에 대하여 아주 자세하고 실무에 가깝게 설명해주신 부분이 좋았습니다. 이와 관련해 가장 좋았던 점은 현업에서 리포지터리를 함께 사용하는 법과 주의해야 할 점 등에 대해서 실습을 통해 차근차근 알려주신 점이 좋았습니다. 가장 좋았던 점이라면 강사님과 수강생들끼리 뿐만 아니라 같은 수강생들끼리도 서로 도움을 주고받으며 해결책을 제시하고 도와줄 수 있는 환경이 조성되었다는 것입니다. 실무에서 어떻게 트러블에 대처하고 도움을 청하는지를 체험하기 위해 반 전체가 함..