전체 글 76

태초부터 인간은 하늘을 동경해왔다 - 드론 제어 프로젝트 개시!

저는 비행기와 항공기를 좋아합니다. 그것도 아주 좋아합니다. 학부 시절 공부도 기계공학부에서 항공우주공학을 전공했습니다. 더 공부를 해 보고 싶어서 잠시 대학원에 입학해 연구실에 있었던 적도 있었죠. 심지어 공군에 입대해 항공기 관제와 관련된 특기를 받아 복무하기도 했습니다. 그 정도로 하늘을 나는 항공기 그 자체는 물론 항공산업에 대한 애정이 아직도 큽니다. 제 블로그와 깃허브 프사도 KF-21 전투기입니ㄷ... 지금은 비록 연구실에서 했던 연구의 연장선으로서 데이터 직무와 개발에 관련된 공부를 하고 있습니다. 하지만 세상 모든 일의 원천은 덕질과 덕심이라고 생각하는 저는 이 코딩 스킬을 덕질에 써먹을 수는 없을까?라는 생각을 늘 가져왔습니다. 그리고 마침 비슷한 뜻을 품은 친구들과 1년을 씨름한 끝에..

엔코아 데이터 엔지니어링 부트캠프 수료 기념 총 회고

2023년 6월 7일의 무더운 여름에 시작해 서먹서먹하기만 했던 약 스무 명의 수강생들은 어느덧 공기도 차가운 12월 7일에 파이널 프로젝트 발표를 하고 수료를 하면서 6개월의 긴 여정을 마무리했습니다. 참 쉽지 않았지만 재밌는 경험이었다고 생각합니다. 원래대로라면 그 감정이 가시기 전에 회고를 적는 것이 맞겠으나... 이력서 첨삭이니 행정 처리니 다른 사이드 프로젝트 기획이니 바쁜 일이 많아서 지금 간략하게나마 적어보려고 합니다. 수강했던 과목들에 대하여 데이터 엔지니어 직무는 다른 직무와는 조금 결이 다른 느낌이었습니다. 코드의 생산/머신러닝 또는 딥러닝 모델의 빌드/모델의 서빙(서비스로의 탑재)/배포 및 유지 보수/그리고 지금까지 말한 요소들의 자동화 등을 한 눈에 파악할 수 있어야 하는 직무여야 ..

[데이터 엔지니어링 부트캠프]11월 5주차 회고

좋았던 점 처음 기획에서 기술적인 부분은 많이 타협하기는 했지만, 어찌저찌 구색을 갖춘 웹사이트와 서비스가 만들어졌습니다. 아, 물론 이 글을 적고 있는 이 시간에도 에어플로우(Airflow) 적용이 가능할 지 어떨지를 체크하는 마지막 테스트가 가동 중이지만, 설령 실패하더라도 이 정도면 시원섭섭하나마 잘 마무리할 수 있을 것 같습니다. 아쉬웠던 점 백엔드를 각잡고 했다면 신경쓸 수 있었을 로드 밸런싱과 큐 등의 문제에 대한 지적이 있었습니다. 로드 밸런서는 어찌저찌 AWS EC2에 올리면서 구현했지만 큐 관련 내용은 수업 중에도 전혀 배우지 않아서 미처 생각지 못한 부분인데, 수료 후 다른 사이드 프로젝트를 할 때는 좀 더 신경써볼 부분인 것 같습니다. 백엔드도 고생하면서 구현했는데, 막상 서비스 단계..

[데이터 엔지니어링 부트캠프]11월 4주차 회고

센터 휴관으로 금요일은 쉬고 월요일에서 목요일까지 4일간만 진행되었습니다. 물론 파이널인데 작업 안 하고 쉴 여유가 있을 리는... 좋았던 점 2차 발표가 끝난 후, 애자일 회고를 진행하면서 앞으로의 진행 방향을 수정할 수 있었습니다. 에러나 버그를 두려워 하지 말고 일단 빠르게 진행해서 만들어보자는 것이었습니다. 그동안 말로만 이런 다짐을 해왔지만 이제부터는 눈에 보이는 성과도 조금씩 나오고 있는 만큼 조금 더 템포를 빠르게 하고자 하는 것에 팀원들의 동의를 얻었습니다. 애자일 회고가 끝난 뒤, 프로젝트와는 별개로 강사님께 요청해 이력서 첨삭을 받을 수 있었습니다. 아쉬웠던 점 그동안 사소한 이슈나 국지적인 에러에 너무 매몰되어서, 한편으로는 그것을 너무 우려해서 제대로 작업을 진행하지 못한 것 같다는..

[데이터 엔지니어링 부트캠프]11월 3주차 회고

좋았던 점 지난 주의 정체기를 거쳐 이번에는 그래도 기본적인 아키텍처를 실제로 구현할 수 있었습니다. 스프링 부트와 ML 모델의 기본적인 연동이 가능해졌다는 점에서 희망적인 부분을 볼 수 있었지 않았나 싶습니다. 아쉬웠던 점 확실히 추천 시스템과 NLP 관련 내용은 새로 접하게 되는 개념이 많아 이래저래 프로젝트 기간 중에도 공부를 많이 해야 하는 것 같습니다. 당연히 남은 기간 안에 다 구현할 수는 없겠지만 최소한의 서비스에라도 NLP 모델을 적용할 수 있으면 좋겠는데 처음 1주일을 허비한 것 같아 못내 아쉽습니다. 배운 점 새로운 기술을 적용하거나 노하우를 배우지는 않아서 이번 주는 배운 점 파트는 생략합니다! 앞으로 바라는 점 SQLD가 지난 토요일(18일)에 있던 탓에 그 전 날인 17일에는 절반..

[데이터 엔지니어링 부트캠프]11월 2주차 회고

좋았던 점 큰 틀에서의 시스템 아키텍처와 데이터 플로우를 어느 정도 정립하는 데 성공했습니다. 당연히 초창기 버전이라 모든 부분이 완벽하게 구상된 것은 아니었지만, 그래도 조급하게 모델 선정에만 매달리다가 결국 일을 크게 길을 잃을 뻔해서 눈앞이 아찔했습니다. 그나마 마지막에 가서 정신을 다잡고 우리가 너무 성급하게 앞서 갔고 지금은 기초부터 돌아볼 때라고 메시지를 던져 조원들의 동의를 얻어내고 다시 EDA부터 진행해 작업을 정상 궤도에 올릴 수 있어서 다행이었습니다. 아쉬웠던 점 너무 세부적인 주제에 매몰되는 것을 주의해야겠다는 생각을 했습니다. 이번 주 내내 머신러닝 모델을 선정하는, 어떻게 보면 국지적인 주제에만 매몰되어서 그 모델만 알아보고 다른 작업을 거의 진행하지 못했습니다. 데이터에 대한 이..

[데이터 엔지니어링 부트캠프]11월 1주차 회고

자, 드디어 한 달 여 간의 파이널 프로젝트 기간이 시작되었습니다. 그에 따라 멘토님도 각 조마다 배정되어 본격적인 레이스를 시작되었습니다. 좋았던 점 다들 적극적으로 의견을 제시하고 자신이 조금 더 아는 분야는 자기 파트가 아니더라도 조금씩 도움을 주면서 단점을 메꾸려 했습니다. 대표적으로 도커 컴포즈 파일을 구성하는 데 유독 MySQL 탑재가 안 되었던 부분을 포트 문제, 아이피 설정 등의 대안을 제시하면서 결국 해결한 적이 있습니다. 건강 문제나 휴가 등으로 목/금에 한 명씩 빠지면서 프로젝트를 진행했는데 아직까지는 큰 걸림돌 없이 차근차근 진행되는 것 같습니다. 멘토님과는 수요일에 오프라인에서 한 번, 일요일에 온라인으로 한 번 뵈었는데 이 분도 현직에서 10년 이상 근무하셨던 만큼 저희가 놓치고..

[데이터 엔지니어링 부트캠프]10월 4주차 회고

좋았던 점 지난 주말, Pypi 패키지 배포와 깃허브 블로그 배포를 마무리하는 숙제를 제출했습니다. 이와 관련된 피드백을 제공받을 수 있었습니다. 이것 외에도 1주일 간 이런저런 실습을 스스로 하고 피드백을 제공받았는데, 초보 개발자가 회사에서도 맞이할 수 있는 문제였던 만큼 두고두고 도움이 될 피드백이 많았던 것 같습니다. 막판에 하루를 통으로 투자해서 실무에서 있을 수 있는 긴급상황에 대처하는 연습을 했습니다. 당연히 실전에 비하면 순하디 순한 맛이었지만 예전 PTSD도 떠오르고 안 해본 것보다는 취업한 이후에 기억을 더듬어 가며 대처할 수 있을 것 같아 좋은 경험이 될 것이라 생각합니다. 아쉬웠던 점 특별히 아쉬운 점은 없었지만, 지나고서 보니 제가 1주일 간 써놨던 회고나 정리글 등을 좀 더 체계..

[데이터 엔지니어링 부트캠프]10월 3주차 회고

좋았던 점 새로 오신 강사님이 도커, 쿠버네티스 기능과 관련하여 프로젝트의 제작과 배포에 대하여 알려주셨습니다. 어떻게 보면 개발자에게 중요한 또다른 일면이 바로 이 배포 부분인데, 현업에 오래 계셨고 비교적 최근까지도 회사에서 근무하셨기 때문에 그 점에 대하여 아주 자세하고 실무에 가깝게 설명해주신 부분이 좋았습니다. 이와 관련해 가장 좋았던 점은 현업에서 리포지터리를 함께 사용하는 법과 주의해야 할 점 등에 대해서 실습을 통해 차근차근 알려주신 점이 좋았습니다. 가장 좋았던 점이라면 강사님과 수강생들끼리 뿐만 아니라 같은 수강생들끼리도 서로 도움을 주고받으며 해결책을 제시하고 도와줄 수 있는 환경이 조성되었다는 것입니다. 실무에서 어떻게 트러블에 대처하고 도움을 청하는지를 체험하기 위해 반 전체가 함..

[데이터 엔지니어링 부트캠프]10월 2주차 회고

좋았던 점 기획서 제출이 끝났습니다. 이번에 제출한 기획서 주제는 총 세 가지이고, 다음 주 중에 정규 수업 커리큘럼이 끝나면 바로 멘토님들과 매칭이 될 것 같습니다. 물론 우리 주제가 컨펌이 될 지는 미지수... ???: 이런 것도 기획서라고 써 왔어?! 파이널 프로젝트 관련 인원 변동이 있었습니다. 다행히도 타 팀에서 저희 팀으로 이적 옮겨오시는 분이 해보고 싶은 부분이 저희가 중점적으로 두는 데이터 분석과 관련된 파트라고 하니 그 부분으로 잘 조율해서 일을 맡겨보려고 합니다. 아쉬웠던 점 제주 버스 데이터를 이용한 미니 프로젝트 기간이 생겼습니다. 1주일을 주시기는 했지만, 사실 엄밀히 말해 프로젝트라기에도 뭣한 시각화 실습에 가까워서 주제 선정에 공을 들이지 않았다는 느낌만 강하게 받았습니다. 무..