데이터엔지니어링 21

엔코아 데이터 엔지니어링 부트캠프 수료 기념 총 회고

2023년 6월 7일의 무더운 여름에 시작해 서먹서먹하기만 했던 약 스무 명의 수강생들은 어느덧 공기도 차가운 12월 7일에 파이널 프로젝트 발표를 하고 수료를 하면서 6개월의 긴 여정을 마무리했습니다. 참 쉽지 않았지만 재밌는 경험이었다고 생각합니다. 원래대로라면 그 감정이 가시기 전에 회고를 적는 것이 맞겠으나... 이력서 첨삭이니 행정 처리니 다른 사이드 프로젝트 기획이니 바쁜 일이 많아서 지금 간략하게나마 적어보려고 합니다. 수강했던 과목들에 대하여 데이터 엔지니어 직무는 다른 직무와는 조금 결이 다른 느낌이었습니다. 코드의 생산/머신러닝 또는 딥러닝 모델의 빌드/모델의 서빙(서비스로의 탑재)/배포 및 유지 보수/그리고 지금까지 말한 요소들의 자동화 등을 한 눈에 파악할 수 있어야 하는 직무여야 ..

[데이터 엔지니어링 부트캠프]11월 4주차 회고

센터 휴관으로 금요일은 쉬고 월요일에서 목요일까지 4일간만 진행되었습니다. 물론 파이널인데 작업 안 하고 쉴 여유가 있을 리는... 좋았던 점 2차 발표가 끝난 후, 애자일 회고를 진행하면서 앞으로의 진행 방향을 수정할 수 있었습니다. 에러나 버그를 두려워 하지 말고 일단 빠르게 진행해서 만들어보자는 것이었습니다. 그동안 말로만 이런 다짐을 해왔지만 이제부터는 눈에 보이는 성과도 조금씩 나오고 있는 만큼 조금 더 템포를 빠르게 하고자 하는 것에 팀원들의 동의를 얻었습니다. 애자일 회고가 끝난 뒤, 프로젝트와는 별개로 강사님께 요청해 이력서 첨삭을 받을 수 있었습니다. 아쉬웠던 점 그동안 사소한 이슈나 국지적인 에러에 너무 매몰되어서, 한편으로는 그것을 너무 우려해서 제대로 작업을 진행하지 못한 것 같다는..

[데이터 엔지니어링 부트캠프]10월 4주차 회고

좋았던 점 지난 주말, Pypi 패키지 배포와 깃허브 블로그 배포를 마무리하는 숙제를 제출했습니다. 이와 관련된 피드백을 제공받을 수 있었습니다. 이것 외에도 1주일 간 이런저런 실습을 스스로 하고 피드백을 제공받았는데, 초보 개발자가 회사에서도 맞이할 수 있는 문제였던 만큼 두고두고 도움이 될 피드백이 많았던 것 같습니다. 막판에 하루를 통으로 투자해서 실무에서 있을 수 있는 긴급상황에 대처하는 연습을 했습니다. 당연히 실전에 비하면 순하디 순한 맛이었지만 예전 PTSD도 떠오르고 안 해본 것보다는 취업한 이후에 기억을 더듬어 가며 대처할 수 있을 것 같아 좋은 경험이 될 것이라 생각합니다. 아쉬웠던 점 특별히 아쉬운 점은 없었지만, 지나고서 보니 제가 1주일 간 써놨던 회고나 정리글 등을 좀 더 체계..

[데이터 엔지니어링 부트캠프]10월 2주차 회고

좋았던 점 기획서 제출이 끝났습니다. 이번에 제출한 기획서 주제는 총 세 가지이고, 다음 주 중에 정규 수업 커리큘럼이 끝나면 바로 멘토님들과 매칭이 될 것 같습니다. 물론 우리 주제가 컨펌이 될 지는 미지수... ???: 이런 것도 기획서라고 써 왔어?! 파이널 프로젝트 관련 인원 변동이 있었습니다. 다행히도 타 팀에서 저희 팀으로 이적 옮겨오시는 분이 해보고 싶은 부분이 저희가 중점적으로 두는 데이터 분석과 관련된 파트라고 하니 그 부분으로 잘 조율해서 일을 맡겨보려고 합니다. 아쉬웠던 점 제주 버스 데이터를 이용한 미니 프로젝트 기간이 생겼습니다. 1주일을 주시기는 했지만, 사실 엄밀히 말해 프로젝트라기에도 뭣한 시각화 실습에 가까워서 주제 선정에 공을 들이지 않았다는 느낌만 강하게 받았습니다. 무..

[데이터 엔지니어링 부트캠프]10월 1주차 회고

좋았던 점 연휴에 푹 쉬고 와서 그런지 도커 실행에 있어 트러블슈팅은 비교적 안정권에 들어온 모양입니다. 물론 후술할 아쉬웠던 점 때문에 도커가 통으로 날아가버린 수강생도 있어서 이 점은 좀 두고봐야 할 것 같습니다. 머신러닝/딥러닝 파트의 스터디를 소집했습니다. 수요일 날 최초로 소집해서 간단한 OT를 한 뒤 자료를 배포했는데 일단 아직까지는 반응이 괜찮은 거 같습니다. 계속 만들어야 하는데 잘 만들 수 있겠죠...?? 이번에 소개받은 엘라스틱서치(ElasticSearch) 부분은 CLI 환경과 코딩에 지친 수강생들에게는 꽤 반가울 수 있을 것 같습니다. 가동만 되면 웹 브라우저 상에서 GUI 환경으로 데이터 시각화나 해석이 가능하기 때문이죠. 실무에서도 쓰인다고 하니 사용하기까지의 진입장벽만 넘어서면..

[데이터 엔지니어링 부트캠프]9월 4주차 회고

좋았던 점 주가 예측 미니 프로젝트는 그런대로 성공적으로 끝난 것 같습니다. 미니 프로젝트가 시작되었던 지난 주 목요일부터 주식 거래만 전문적으로 하는 사람들만큼은 아니더라도 이미 어떤 식으로 종목을 선정하고 어떤 식으로 논리를 전개하면서 발표를 진행할 지 구상할 수 있었습니다. 사전에 어떤 툴과 기능을 쓸 지 미리 선정하고 들어간 덕분에 부족한 부분이 있는 팀원들은 추가로 어떤 부분을 공부할 지 알 수 있었고, 웬만큼 기능에 익숙한 조원들은 바로 데이터를 분석하고 다른 팀원들을 도울 수 있었습니다. 아쉬웠던 점 저를 포함해서 그나마 주식을 어느 정도 만져본 팀원이 있어서 초기 구상 자체는 수월하게 끝난 것 같지만, 이후에 이론적인 적용을 코드로 구현하면서 강사님의 예제 코드에 포함된 설명만으로는 우리 ..

[데이터 엔지니어링 부트캠프]9월 3주차 회고

좋았던 점 팀별 단합: 파이널 프로젝트 팀도 (잠정적이라고는 하지만) 꾸려졌겠다, 파이널 때 사용할 데이터와 분석 주제 같은 것을 정하게 되었습니다. 생각보다는 다들 적극적으로 나서 주었고, 같은 팀이 된 수강생들과는 예전부터 이런 주제를 해보고 싶다고 지속적으로 말을 맞춰 온 사이였기 때문에 실제로 프로젝트에 돌입하면 기술적으로 어려운 것 외에 의견 조율 등에 있어서는 비교적 수월할 수 있겠다는 생각이 듭니다. 미니 프로젝트 - 주가 예측: 하둡 하이브를 이용한 미니 프로젝트로 주어진 주가 데이터로부터 최적의 주식 매수/매도 타이밍을 알아보는 실습을 할 예정입니다. 블로그에 따로 올린 적은 없지만, 부트캠프 시작 전 따로 독학할 때 모아둔 자료에 마침 주가 예측 코드가 좀 있어서 그걸 활용해도 괜찮을 ..

[데이터 엔지니어링 부트캠프]9월 2주차 회고

좋았던 점 AWS와 하둡이 주가 되기는 했지만, 백엔드 서버를 클라우드에 배포하는 것을 실습하기 위해 다양한 툴을 실습/복습한 것이 좋았습니다. AWS EC2 서비스 서빙에는 기존 과정에서 배웠던 스프링 부트를 이용한 서버를 비롯해, 간단한 플라스크 기반 백엔드, 그리고 리액트를 이용한 프론트엔드도 맛보기 수준으로 경험했습니다. 아쉬웠던 점 마치 머신러닝/딥러닝 때가 떠오를 정도로 수업 준비가 미흡한 모습이 보였습니다. 본격적으로 도커를 활용하기 시작하면서 일일이 실습 환경을 구축하지 않더라도 도커파일만 준비하면 가상환경을 만들고 곧장 실습에 들어갈 수 있어야 했는데, 도커파일을 그대로 실행하면 설치하는 프로그램 간의 버전 차이가 나서 실습이 안 되는 것은 예사요, 이제 갓 도커와 하둡 등에 입문한 사용..

[데이터 엔지니어링 부트캠프]9월 1주차 회고

좋았던 점 수업용으로 같이 제공해주시는 PPT 자료가 굉장히 자세하게 서술되어 있습니다. 미리 PPT를 보면서 설명을 듣고 실습 시간을 주는 형태로 진행이 되었는데, 설명 중에 조금 놓친 부분이 있어도 실습 도중 ppt를 보면서 충분히 따라갈 수 있을 만큼 준비가 잘 되어 있었습니다. 리눅스와 클라우드 서비스 간의 설명이 잘 연계되어 있는 것 같았습니다. 그 전에 수업 들었던 내용들도 복습 삼아서 중간중간 등장하는 것도 다시 기억을 떠올릴 수 있는 점에서 좋았습니다. 아쉬웠던 점 수업 내용 외에도 취업이라든가 인생 관련 조언을 해주셨던 다른 강사님들과 달리 오로지 미리 준비된 수업 내용과 센터에서 제공한 커리큘럼에 충실하려는 게 다소 아쉬웠습니다. 그렇다고 수업 중에 수강생들을 세심하게 케어해주냐면 그것..

[데이터 엔지니어링 부트캠프]8월 5주차 회고

좋았던 점 상대적으로 빨랐던 프로젝트 진척: 타 팀에 비해 우리 팀이 DB 자료 정립도 금방 되었고, 이 덕분에 백엔드 부분을 더 세밀하게 만지고 프론트엔드에서도 추가적인 시도를 해 볼수 있던 점이 좋았습니다. 대표적으로 상단 네비게이션 바를 이용해 리뷰게시판 이동과 장르별 TOP 10 팝업을 구현한 것이 있겠습니다. 아쉬웠던 점 전체적인 이해도의 부족: 리뷰게시판을 담당해 구현하고자 했던 저는 스스로의 이해도가 어느 정도인지 객관적으로 파악하지 못해 어떤 기능을 어떤 식으로 구현할 지 몰라 한참을 헤맸습니다. 이유인 즉, 각 폴더와 그 폴더 안에 들어가는 파일 하나하나의 구조만 이해했지, 그 파일들이 어떤 식으로 정보를 주고받으면서 상호작용해서 최종적으로 웹이 구동되는지를 이해하지 못했던 것이 패착이었..