개발공부 & 부트캠프 33

[데이터 엔지니어링 부트캠프]9월 4주차 회고

좋았던 점 주가 예측 미니 프로젝트는 그런대로 성공적으로 끝난 것 같습니다. 미니 프로젝트가 시작되었던 지난 주 목요일부터 주식 거래만 전문적으로 하는 사람들만큼은 아니더라도 이미 어떤 식으로 종목을 선정하고 어떤 식으로 논리를 전개하면서 발표를 진행할 지 구상할 수 있었습니다. 사전에 어떤 툴과 기능을 쓸 지 미리 선정하고 들어간 덕분에 부족한 부분이 있는 팀원들은 추가로 어떤 부분을 공부할 지 알 수 있었고, 웬만큼 기능에 익숙한 조원들은 바로 데이터를 분석하고 다른 팀원들을 도울 수 있었습니다. 아쉬웠던 점 저를 포함해서 그나마 주식을 어느 정도 만져본 팀원이 있어서 초기 구상 자체는 수월하게 끝난 것 같지만, 이후에 이론적인 적용을 코드로 구현하면서 강사님의 예제 코드에 포함된 설명만으로는 우리 ..

[데이터 엔지니어링 부트캠프]9월 3주차 회고

좋았던 점 팀별 단합: 파이널 프로젝트 팀도 (잠정적이라고는 하지만) 꾸려졌겠다, 파이널 때 사용할 데이터와 분석 주제 같은 것을 정하게 되었습니다. 생각보다는 다들 적극적으로 나서 주었고, 같은 팀이 된 수강생들과는 예전부터 이런 주제를 해보고 싶다고 지속적으로 말을 맞춰 온 사이였기 때문에 실제로 프로젝트에 돌입하면 기술적으로 어려운 것 외에 의견 조율 등에 있어서는 비교적 수월할 수 있겠다는 생각이 듭니다. 미니 프로젝트 - 주가 예측: 하둡 하이브를 이용한 미니 프로젝트로 주어진 주가 데이터로부터 최적의 주식 매수/매도 타이밍을 알아보는 실습을 할 예정입니다. 블로그에 따로 올린 적은 없지만, 부트캠프 시작 전 따로 독학할 때 모아둔 자료에 마침 주가 예측 코드가 좀 있어서 그걸 활용해도 괜찮을 ..

[데이터 엔지니어링 부트캠프]9월 2주차 회고

좋았던 점 AWS와 하둡이 주가 되기는 했지만, 백엔드 서버를 클라우드에 배포하는 것을 실습하기 위해 다양한 툴을 실습/복습한 것이 좋았습니다. AWS EC2 서비스 서빙에는 기존 과정에서 배웠던 스프링 부트를 이용한 서버를 비롯해, 간단한 플라스크 기반 백엔드, 그리고 리액트를 이용한 프론트엔드도 맛보기 수준으로 경험했습니다. 아쉬웠던 점 마치 머신러닝/딥러닝 때가 떠오를 정도로 수업 준비가 미흡한 모습이 보였습니다. 본격적으로 도커를 활용하기 시작하면서 일일이 실습 환경을 구축하지 않더라도 도커파일만 준비하면 가상환경을 만들고 곧장 실습에 들어갈 수 있어야 했는데, 도커파일을 그대로 실행하면 설치하는 프로그램 간의 버전 차이가 나서 실습이 안 되는 것은 예사요, 이제 갓 도커와 하둡 등에 입문한 사용..

[데이터 엔지니어링 부트캠프]9월 1주차 회고

좋았던 점 수업용으로 같이 제공해주시는 PPT 자료가 굉장히 자세하게 서술되어 있습니다. 미리 PPT를 보면서 설명을 듣고 실습 시간을 주는 형태로 진행이 되었는데, 설명 중에 조금 놓친 부분이 있어도 실습 도중 ppt를 보면서 충분히 따라갈 수 있을 만큼 준비가 잘 되어 있었습니다. 리눅스와 클라우드 서비스 간의 설명이 잘 연계되어 있는 것 같았습니다. 그 전에 수업 들었던 내용들도 복습 삼아서 중간중간 등장하는 것도 다시 기억을 떠올릴 수 있는 점에서 좋았습니다. 아쉬웠던 점 수업 내용 외에도 취업이라든가 인생 관련 조언을 해주셨던 다른 강사님들과 달리 오로지 미리 준비된 수업 내용과 센터에서 제공한 커리큘럼에 충실하려는 게 다소 아쉬웠습니다. 그렇다고 수업 중에 수강생들을 세심하게 케어해주냐면 그것..

[데이터 엔지니어링 부트캠프]8월 5주차 회고

좋았던 점 상대적으로 빨랐던 프로젝트 진척: 타 팀에 비해 우리 팀이 DB 자료 정립도 금방 되었고, 이 덕분에 백엔드 부분을 더 세밀하게 만지고 프론트엔드에서도 추가적인 시도를 해 볼수 있던 점이 좋았습니다. 대표적으로 상단 네비게이션 바를 이용해 리뷰게시판 이동과 장르별 TOP 10 팝업을 구현한 것이 있겠습니다. 아쉬웠던 점 전체적인 이해도의 부족: 리뷰게시판을 담당해 구현하고자 했던 저는 스스로의 이해도가 어느 정도인지 객관적으로 파악하지 못해 어떤 기능을 어떤 식으로 구현할 지 몰라 한참을 헤맸습니다. 이유인 즉, 각 폴더와 그 폴더 안에 들어가는 파일 하나하나의 구조만 이해했지, 그 파일들이 어떤 식으로 정보를 주고받으면서 상호작용해서 최종적으로 웹이 구동되는지를 이해하지 못했던 것이 패착이었..

[데이터 엔지니어링 부트캠프]8월 4주차 회고

좋았던 점 일찌감치 미니 프로젝트 조를 편성해서 주제와 데이터 핸들링 방법 등을 논의할 수 있었습니다. 다들 프로젝트 주제 뿐만 아니라 세부적인 구현 기법 면에서도 적극적으로 의견을 내줘서 진전이 빨랐던 것 같습니다. 어떻게 보면 백엔드에 해당하는 웹 프로그래밍을 배우다 보니 직접 눈에 보이는 실습을 하면서 배우는 게 조금 더 빨랐다고 체감된 것 같습니다. 어디까지나 체감으로만... 아쉬웠던 점 팀원 한 명이 예비군으로 한 주를 통으로 불참하는 탓에 시간을 좀 투자해서 그간 수립한 계획을 설명해야 할 것 같습니다. 사실 저번 미니 프로젝트 때도 같은 조였고 열심히 하는 분이라 잘 알려만 드리면 크게 문제될 부분은 아니리라 믿습니다. 데이터 엔지니어들에게 가장 중요한 게 의사소통이라고 하는데, 이번 주 저..

[SQL] 데이터베이스(스키마) 생성

저번 포스트에서 MySQL 워크벤치의 설치와 세팅을 마쳤습니다. 이번 포스트에서는 본격적으로 데이터베이스, 정확히는 스키마를 생성하는 연습을 해보겠습니다. 스키마 생성하기 1. GUI 환경 일단은 쿼리 없이 GUI 환경에서 데이터베이스를 생성해보겠습니다. MySQL 워크벤치를 실행합시다. 설치할 때 세팅했던 비밀번호를 입력하고 메인 화면으로 들어가줍니다. 시작하기 전에 왼쪽 아래 Navigator의 탭을 바꿔줍니다. 설치 후 아무 것도 건드리지 않았다면 이 탭이 Administration으로 되어 있을텐데, Schemas를 클릭해서 바꿔주는 것이 향후 진행에 편합니다. 스키마(Schemas)란? 스키마는 데이터베이스의 구조와 조건을 정의해놓은 메타데이터입니다. SQL에서는 특정 컬럼(column)에 들어..

[SQL] MySQL 설치부터 세팅까지

SQL(Structured Query Language)은 관계형 데이터베이스에 사용되는 언어로, 관계형 DBMS(DataBase Management System)을 사용하고자 한다면 반드시 익혀야 할 언어입니다. 보통 SQL을 사용하는 언어라면 자바(Java)로도 유명한 오라클(Oracle) 사의 MySQL을 써서 공부를 하게 됩니다. 이번 포스트에서는 MySQL의 설치부터 기본 세팅까지를 해보도록 하겠습니다. 설치 들어가기에 앞서 이번 포스트는 Windows 10 64 bit 환경에서 진행되었음을 알립니다. 따라서 다른 윈도우 버전이나 리눅스 등 다른 OS에는 적용되지 않는 부분이 있을 수 있습니다. + 설치 과정 중 군데군데 스크린샷을 깜빡한 부분이 있는 관계로... 이 글을 작성하는 동안 새로 찍은..

[데이터 엔지니어링 부트캠프]8월 3주차 회고

좋았던 점 웹 프로그래밍에만 집중하는 것이 아니라, 그 이전 과정에서 저작권 문제나 데이터의 질(quality) 문제로 다루지 않았던 데이터 크롤링(data crawling) 부분도 함께 알려주셨습니다. 솔직한 심정으로, 지금까지 배운 것 중 가장 유용한 부분이지만 동시에 가장 조심해서 써야 할 부분이라고 생각됩니다. 너무 자주 들어가면 디도스 공격으로 오인할 여지가 있다나... 머신러닝/딥러닝을 주력으로 배우기는 했다만, 구슬이 서 말이라도 꿰어야 보배라고 기껏 훈련한 모델을 배포하고 서빙(serving)하지 않으면 의미가 없음을 강조해주신 것도 좋았습니다. 솔직히 제대로 배우지도 못했잖아 과거에 streamlit을 이용하는 것이 포트폴리오를 눈에 보이게끔 만들어주는 것이라는 것과 같은 맥락에서, 이제..

[데이터 엔지니어링 부트캠프]8월 2주차 회고

좋았던 점 파이썬과는 차이가 많은 자바를 처음 접하다보니 객체지향으로 넘어가더라도 차이가 상당히 많은데 거기에 필요한 부분을 정석에 가깝게, 또 자세하게 알려주셨습니다. 이해가 어려운 부분들에 대해서는 pdf 파일과 예제 파일 시현까지 해주시면서 설명해주셔서 그래도 짧은 기간이나마 잘 따라갈 수 있었습니다. 막판에 다음 교육 과정엔 스프링 부트에 대비해서 스프링 IoC도 간단하게 알려주신 것은 좋았습니다. 이게 득이 될 지 아니면 그냥 덤이 될 지는 까봐야 알겠지만... 아쉬웠던 점 아무리 설명을 자세하게 해주신다고 한들, 자바를 2주일 조금 안 되는 기간에 다 배우게 하는 것이 벅찼습니다. 혹자에 따르면 2주만에 자바를 다 이해했다고 하면 회사에서 이 놈은 뭐지 하는 생각에 면접은 보러 오라고 할 것이..