분류 전체보기 77

[데이터 엔지니어링 부트캠프]10월 2주차 회고

좋았던 점 기획서 제출이 끝났습니다. 이번에 제출한 기획서 주제는 총 세 가지이고, 다음 주 중에 정규 수업 커리큘럼이 끝나면 바로 멘토님들과 매칭이 될 것 같습니다. 물론 우리 주제가 컨펌이 될 지는 미지수... ???: 이런 것도 기획서라고 써 왔어?! 파이널 프로젝트 관련 인원 변동이 있었습니다. 다행히도 타 팀에서 저희 팀으로 이적 옮겨오시는 분이 해보고 싶은 부분이 저희가 중점적으로 두는 데이터 분석과 관련된 파트라고 하니 그 부분으로 잘 조율해서 일을 맡겨보려고 합니다. 아쉬웠던 점 제주 버스 데이터를 이용한 미니 프로젝트 기간이 생겼습니다. 1주일을 주시기는 했지만, 사실 엄밀히 말해 프로젝트라기에도 뭣한 시각화 실습에 가까워서 주제 선정에 공을 들이지 않았다는 느낌만 강하게 받았습니다. 무..

[데이터 엔지니어링 부트캠프]10월 1주차 회고

좋았던 점 연휴에 푹 쉬고 와서 그런지 도커 실행에 있어 트러블슈팅은 비교적 안정권에 들어온 모양입니다. 물론 후술할 아쉬웠던 점 때문에 도커가 통으로 날아가버린 수강생도 있어서 이 점은 좀 두고봐야 할 것 같습니다. 머신러닝/딥러닝 파트의 스터디를 소집했습니다. 수요일 날 최초로 소집해서 간단한 OT를 한 뒤 자료를 배포했는데 일단 아직까지는 반응이 괜찮은 거 같습니다. 계속 만들어야 하는데 잘 만들 수 있겠죠...?? 이번에 소개받은 엘라스틱서치(ElasticSearch) 부분은 CLI 환경과 코딩에 지친 수강생들에게는 꽤 반가울 수 있을 것 같습니다. 가동만 되면 웹 브라우저 상에서 GUI 환경으로 데이터 시각화나 해석이 가능하기 때문이죠. 실무에서도 쓰인다고 하니 사용하기까지의 진입장벽만 넘어서면..

[데이터 엔지니어링 부트캠프]9월 4주차 회고

좋았던 점 주가 예측 미니 프로젝트는 그런대로 성공적으로 끝난 것 같습니다. 미니 프로젝트가 시작되었던 지난 주 목요일부터 주식 거래만 전문적으로 하는 사람들만큼은 아니더라도 이미 어떤 식으로 종목을 선정하고 어떤 식으로 논리를 전개하면서 발표를 진행할 지 구상할 수 있었습니다. 사전에 어떤 툴과 기능을 쓸 지 미리 선정하고 들어간 덕분에 부족한 부분이 있는 팀원들은 추가로 어떤 부분을 공부할 지 알 수 있었고, 웬만큼 기능에 익숙한 조원들은 바로 데이터를 분석하고 다른 팀원들을 도울 수 있었습니다. 아쉬웠던 점 저를 포함해서 그나마 주식을 어느 정도 만져본 팀원이 있어서 초기 구상 자체는 수월하게 끝난 것 같지만, 이후에 이론적인 적용을 코드로 구현하면서 강사님의 예제 코드에 포함된 설명만으로는 우리 ..

[데이터 엔지니어링 부트캠프]9월 3주차 회고

좋았던 점 팀별 단합: 파이널 프로젝트 팀도 (잠정적이라고는 하지만) 꾸려졌겠다, 파이널 때 사용할 데이터와 분석 주제 같은 것을 정하게 되었습니다. 생각보다는 다들 적극적으로 나서 주었고, 같은 팀이 된 수강생들과는 예전부터 이런 주제를 해보고 싶다고 지속적으로 말을 맞춰 온 사이였기 때문에 실제로 프로젝트에 돌입하면 기술적으로 어려운 것 외에 의견 조율 등에 있어서는 비교적 수월할 수 있겠다는 생각이 듭니다. 미니 프로젝트 - 주가 예측: 하둡 하이브를 이용한 미니 프로젝트로 주어진 주가 데이터로부터 최적의 주식 매수/매도 타이밍을 알아보는 실습을 할 예정입니다. 블로그에 따로 올린 적은 없지만, 부트캠프 시작 전 따로 독학할 때 모아둔 자료에 마침 주가 예측 코드가 좀 있어서 그걸 활용해도 괜찮을 ..

[데이터 엔지니어링 부트캠프]9월 2주차 회고

좋았던 점 AWS와 하둡이 주가 되기는 했지만, 백엔드 서버를 클라우드에 배포하는 것을 실습하기 위해 다양한 툴을 실습/복습한 것이 좋았습니다. AWS EC2 서비스 서빙에는 기존 과정에서 배웠던 스프링 부트를 이용한 서버를 비롯해, 간단한 플라스크 기반 백엔드, 그리고 리액트를 이용한 프론트엔드도 맛보기 수준으로 경험했습니다. 아쉬웠던 점 마치 머신러닝/딥러닝 때가 떠오를 정도로 수업 준비가 미흡한 모습이 보였습니다. 본격적으로 도커를 활용하기 시작하면서 일일이 실습 환경을 구축하지 않더라도 도커파일만 준비하면 가상환경을 만들고 곧장 실습에 들어갈 수 있어야 했는데, 도커파일을 그대로 실행하면 설치하는 프로그램 간의 버전 차이가 나서 실습이 안 되는 것은 예사요, 이제 갓 도커와 하둡 등에 입문한 사용..

[데이터 엔지니어링 부트캠프]9월 1주차 회고

좋았던 점 수업용으로 같이 제공해주시는 PPT 자료가 굉장히 자세하게 서술되어 있습니다. 미리 PPT를 보면서 설명을 듣고 실습 시간을 주는 형태로 진행이 되었는데, 설명 중에 조금 놓친 부분이 있어도 실습 도중 ppt를 보면서 충분히 따라갈 수 있을 만큼 준비가 잘 되어 있었습니다. 리눅스와 클라우드 서비스 간의 설명이 잘 연계되어 있는 것 같았습니다. 그 전에 수업 들었던 내용들도 복습 삼아서 중간중간 등장하는 것도 다시 기억을 떠올릴 수 있는 점에서 좋았습니다. 아쉬웠던 점 수업 내용 외에도 취업이라든가 인생 관련 조언을 해주셨던 다른 강사님들과 달리 오로지 미리 준비된 수업 내용과 센터에서 제공한 커리큘럼에 충실하려는 게 다소 아쉬웠습니다. 그렇다고 수업 중에 수강생들을 세심하게 케어해주냐면 그것..

[데이터 엔지니어링 부트캠프]8월 5주차 회고

좋았던 점 상대적으로 빨랐던 프로젝트 진척: 타 팀에 비해 우리 팀이 DB 자료 정립도 금방 되었고, 이 덕분에 백엔드 부분을 더 세밀하게 만지고 프론트엔드에서도 추가적인 시도를 해 볼수 있던 점이 좋았습니다. 대표적으로 상단 네비게이션 바를 이용해 리뷰게시판 이동과 장르별 TOP 10 팝업을 구현한 것이 있겠습니다. 아쉬웠던 점 전체적인 이해도의 부족: 리뷰게시판을 담당해 구현하고자 했던 저는 스스로의 이해도가 어느 정도인지 객관적으로 파악하지 못해 어떤 기능을 어떤 식으로 구현할 지 몰라 한참을 헤맸습니다. 이유인 즉, 각 폴더와 그 폴더 안에 들어가는 파일 하나하나의 구조만 이해했지, 그 파일들이 어떤 식으로 정보를 주고받으면서 상호작용해서 최종적으로 웹이 구동되는지를 이해하지 못했던 것이 패착이었..

[데이터 엔지니어링 부트캠프]8월 4주차 회고

좋았던 점 일찌감치 미니 프로젝트 조를 편성해서 주제와 데이터 핸들링 방법 등을 논의할 수 있었습니다. 다들 프로젝트 주제 뿐만 아니라 세부적인 구현 기법 면에서도 적극적으로 의견을 내줘서 진전이 빨랐던 것 같습니다. 어떻게 보면 백엔드에 해당하는 웹 프로그래밍을 배우다 보니 직접 눈에 보이는 실습을 하면서 배우는 게 조금 더 빨랐다고 체감된 것 같습니다. 어디까지나 체감으로만... 아쉬웠던 점 팀원 한 명이 예비군으로 한 주를 통으로 불참하는 탓에 시간을 좀 투자해서 그간 수립한 계획을 설명해야 할 것 같습니다. 사실 저번 미니 프로젝트 때도 같은 조였고 열심히 하는 분이라 잘 알려만 드리면 크게 문제될 부분은 아니리라 믿습니다. 데이터 엔지니어들에게 가장 중요한 게 의사소통이라고 하는데, 이번 주 저..

[SQL] 데이터베이스(스키마) 생성

저번 포스트에서 MySQL 워크벤치의 설치와 세팅을 마쳤습니다. 이번 포스트에서는 본격적으로 데이터베이스, 정확히는 스키마를 생성하는 연습을 해보겠습니다. 스키마 생성하기 1. GUI 환경 일단은 쿼리 없이 GUI 환경에서 데이터베이스를 생성해보겠습니다. MySQL 워크벤치를 실행합시다. 설치할 때 세팅했던 비밀번호를 입력하고 메인 화면으로 들어가줍니다. 시작하기 전에 왼쪽 아래 Navigator의 탭을 바꿔줍니다. 설치 후 아무 것도 건드리지 않았다면 이 탭이 Administration으로 되어 있을텐데, Schemas를 클릭해서 바꿔주는 것이 향후 진행에 편합니다. 스키마(Schemas)란? 스키마는 데이터베이스의 구조와 조건을 정의해놓은 메타데이터입니다. SQL에서는 특정 컬럼(column)에 들어..

[SQL] MySQL 설치부터 세팅까지

SQL(Structured Query Language)은 관계형 데이터베이스에 사용되는 언어로, 관계형 DBMS(DataBase Management System)을 사용하고자 한다면 반드시 익혀야 할 언어입니다. 보통 SQL을 사용하는 언어라면 자바(Java)로도 유명한 오라클(Oracle) 사의 MySQL을 써서 공부를 하게 됩니다. 이번 포스트에서는 MySQL의 설치부터 기본 세팅까지를 해보도록 하겠습니다. 설치 들어가기에 앞서 이번 포스트는 Windows 10 64 bit 환경에서 진행되었음을 알립니다. 따라서 다른 윈도우 버전이나 리눅스 등 다른 OS에는 적용되지 않는 부분이 있을 수 있습니다. + 설치 과정 중 군데군데 스크린샷을 깜빡한 부분이 있는 관계로... 이 글을 작성하는 동안 새로 찍은..