데이터엔지니어링 21

[데이터 엔지니어링 부트캠프]8월 4주차 회고

좋았던 점 일찌감치 미니 프로젝트 조를 편성해서 주제와 데이터 핸들링 방법 등을 논의할 수 있었습니다. 다들 프로젝트 주제 뿐만 아니라 세부적인 구현 기법 면에서도 적극적으로 의견을 내줘서 진전이 빨랐던 것 같습니다. 어떻게 보면 백엔드에 해당하는 웹 프로그래밍을 배우다 보니 직접 눈에 보이는 실습을 하면서 배우는 게 조금 더 빨랐다고 체감된 것 같습니다. 어디까지나 체감으로만... 아쉬웠던 점 팀원 한 명이 예비군으로 한 주를 통으로 불참하는 탓에 시간을 좀 투자해서 그간 수립한 계획을 설명해야 할 것 같습니다. 사실 저번 미니 프로젝트 때도 같은 조였고 열심히 하는 분이라 잘 알려만 드리면 크게 문제될 부분은 아니리라 믿습니다. 데이터 엔지니어들에게 가장 중요한 게 의사소통이라고 하는데, 이번 주 저..

[데이터 엔지니어링 부트캠프]8월 3주차 회고

좋았던 점 웹 프로그래밍에만 집중하는 것이 아니라, 그 이전 과정에서 저작권 문제나 데이터의 질(quality) 문제로 다루지 않았던 데이터 크롤링(data crawling) 부분도 함께 알려주셨습니다. 솔직한 심정으로, 지금까지 배운 것 중 가장 유용한 부분이지만 동시에 가장 조심해서 써야 할 부분이라고 생각됩니다. 너무 자주 들어가면 디도스 공격으로 오인할 여지가 있다나... 머신러닝/딥러닝을 주력으로 배우기는 했다만, 구슬이 서 말이라도 꿰어야 보배라고 기껏 훈련한 모델을 배포하고 서빙(serving)하지 않으면 의미가 없음을 강조해주신 것도 좋았습니다. 솔직히 제대로 배우지도 못했잖아 과거에 streamlit을 이용하는 것이 포트폴리오를 눈에 보이게끔 만들어주는 것이라는 것과 같은 맥락에서, 이제..

[데이터 엔지니어링 부트캠프]8월 2주차 회고

좋았던 점 파이썬과는 차이가 많은 자바를 처음 접하다보니 객체지향으로 넘어가더라도 차이가 상당히 많은데 거기에 필요한 부분을 정석에 가깝게, 또 자세하게 알려주셨습니다. 이해가 어려운 부분들에 대해서는 pdf 파일과 예제 파일 시현까지 해주시면서 설명해주셔서 그래도 짧은 기간이나마 잘 따라갈 수 있었습니다. 막판에 다음 교육 과정엔 스프링 부트에 대비해서 스프링 IoC도 간단하게 알려주신 것은 좋았습니다. 이게 득이 될 지 아니면 그냥 덤이 될 지는 까봐야 알겠지만... 아쉬웠던 점 아무리 설명을 자세하게 해주신다고 한들, 자바를 2주일 조금 안 되는 기간에 다 배우게 하는 것이 벅찼습니다. 혹자에 따르면 2주만에 자바를 다 이해했다고 하면 회사에서 이 놈은 뭐지 하는 생각에 면접은 보러 오라고 할 것이..

[데이터 엔지니어링 부트캠프]8월 1주차 회고

좋았던 점 수요일부터 3일만 수업 들은 게 제일 좋았습... 수업자료만 보더라도 강사님이 준비를 많이 해주고 계시다는 게 느껴집니다. 최소한 강의자료 코드에 있는 오타 때문에 실행이 안 되고 수강생이 알아서 디버깅을 해야 하는 불상사가 없다는 게 아주 좋습니다. 아쉬웠던 점 자바가 확실히... 지금껏 접해온 언어와 비교했을 때는 많이 이질적이네요. 파이썬이 주력이고 C++은 약간?만 경험해본그마저도 학부 1학년 때 배운 게 전부인 저로서는 C와 비슷하면서도 여러모로 손이 많이 가는 자바의 문법이 아직은 좀 어색합니다. 새 언어를 배울 때마다 느끼는 거지만, 문법이 서로 헷갈리기 시작합니다. 파이썬 스크립트를 짜는데 주석으로 //를 쓰고 있고, 자바에서 for문을 쓰는데 왜 enumerate()가 지원이 ..

[데이터 엔지니어링 부트캠프]7월 4주차 회고

좋았던 점 딥러닝 파트 뒷부분으로 가면서 토이 데이터뿐만 아니라 실제 데이터를 이용해서 실습을 할 수 있었습니다. RNN 모델 실습을 할 때 Yahoo finance의 주가 데이터를 이용해 주가 예측 모델을 만들었습니다. 참고로 그 날 오후, 2차전지 관련주 주가가 널뛰기를 했습니다. 자바로 넘어오면서는 이론 설명과 예제 실습의 균형이 잘 잡혀있었습니다. 후술할 네이버 클라우드에 자료를 올려주시는데 혹시나 수업 중에 놓친 부분이 있어도 수업 정리 pdf를 같이 제공해주셔서 좋았습니다. 아쉬웠던 점 자바로 넘어오면서 새 강사님께서 오셨는데 예전 강사님들만큼 슬랙이나 줌을 적극적으로 활용하시지는 않는 것 같습니다. 수업 자료 공유가 네이버 클라우드로만 이뤄지는 게 조금 아쉽습니다. 그 대신이랄까 날짜별로 폴..

[데이터 엔지니어링 부트캠프]7월 3주차 회고

몸 상태가 온전히 돌아오지 못하고 고생했던 한 주였습니다... 담주부터는 몸 괜찮아질테니까 운동 나가야지... 쿨럭.... 좋았던 점 GPU 가속을 본격적으로 사용하면서 코랩과 로컬을 왔다갔다 하고 있기는 하지만, 여러 모로 학습 속도가 향상된 것이 눈에 띌 정도입니다. 한 에포크 당 2분 걸리던 것이 20초에 끝나니 참 좋죠. 극락 아쉬웠던 점 원체 기능과 키워드가 많은 파트이다 보니, 머리로는 알고 있는 내용을 막상 코드로 치려고 할 때 손이 굳습니다. 여러 번 연습을 해야 할 것 같습니다. 배운 점 CNN 개요 CNN(Convolutional Neural Network, 합성곱 신경망)은 주로 이미지, 동영상을 처리하는 컴퓨터 비전 분야에서 사용되는 모델로, 합성곱 연산을 수행하는 convoluti..

[데이터 엔지니어링 부트캠프]7월 2주차 회고

감기몸살 기운이 으슬으슬 올라오던 월요일, 이럴 때 쉬면 자신에게 너무 관대해지는 것이라는 일념으로 헬스장으로 향했습니다. 큰 실수였습니다. 그 다음날부터 급격히 몸이 안 좋아져서 수요일날도 객기 부리고 수업 나갔다가 몸 상태가 박살났습니다. 그 다음날인 목요일 하루는 아무 것도 하지 못하고 통으로 쉬었습니다. 여러분, 몸 안 좋다고 운동 함부로 나가지 마세요. 그 다음주까지도 운동 못 나갈 수 있습니다. 머리가 나쁘면 몸이 고생한다 하루 욕심 부리다가 2주 동안 운동을 못 나가게 된 이번 주 회고입니다. 좋았던 점 딥러닝의 서막: 자고로 머신러닝보다는 딥러닝이라는 이름이 더 있어보이는 이 시국? 시대에 머신러닝 파트를 떼고 딥러닝 파트로 넘어갔다는 것만 하더라도 큰 업적이라고 생각합니다. 근데 이 정도..

[데이터 엔지니어링 부트캠프]7월 1주차 회고

몇 주차를 세는 방법을 찾은 것 같습니다. 그래 $N$월 $N$주차라고 적으면 되는 거였구나! 항상 깨달음이 늦음 좋았던 점 본격적인 머신러닝 커리큘럼 - 전처리: 제가 대학원 바깥에서 데이터 엔지니어링이나 머신러닝 관련 이야기를 나누다 보면, 그거 그냥 머신러닝(또는 딥러닝) 모델 만들고 AI한테 예측해달라고 하면 되는 거 아니야? 라고 하는 걸 많이 들었습니다. 하지만 실상은 모델을 만드는 것만큼이나 그 전 과정이 굉장히 중요합니다. 요리할 때 재료 손질이 중요하고, 그림 그릴 때도 밑그림과 스케치 단계가 만만치 않게 중요하듯이, 데이터 엔지니어링과 분석에서도 일련의 전처리(preprocessing) 과정이 모델 만드는 것 못지 않게 중요합니다. 애초에 "trash in trash out"이라는 말이..

[데이터 엔지니어링 부트캠프] 6월 월간 회고

자, 6월 한 달이 순식간에 지나고, 어느덧 7월이 밝았습니다. 우린 이걸 하반기라 부르기로 했어요. 뭐 했다고 벌써 하반기냐... 한 달 간의 업적과 뻘짓을 포함해 배운 점과 아쉬웠던 점 등을 한 번에 정리해보겠습니다. 좋았던 점 사전 교육: 파이썬 기본 문법을 사전 교육에서부터 짚어주기는 했지만, 그보다는 개발 전반에 걸쳐 사용되는 툴 들의 사용법과 회고와 관련된 내용을 배운 것이 가장 좋았습니다. 기본적인 Git(깃) 사용법 및 개발 환경을 깃허브와 연동하는 방법, 취업할 때 도움이 될 만한 채용 공고 보는 법, 이제 막 학습을 시작한 위치에서도 취업에 대비할 수 있는 구체적인 전략(자격증, 코딩 테스트, 포트폴리오, 자기소개서 등)을 가르쳐주셨는데, 개인적으로는 취업 준비를 막 시작한 입장에서 가..

[데이터 엔지니어링 부트캠프] 3주차 회고

좋았던 점 드디어 사용하는 구글 코랩(Colab): 파이썬 입문부터 주피터 노트북과 함께 한 골수 유저로서 파이참에서 코랩으로 넘어왔다는 건 축복 큰 호사였습니다. 감사합니다....!!! 본격적으로 배우기 시작한 각종 라이브러리: 넘파이, 판다스, 맷플롯립 등 데이터 분석에서 사용되는 각종 라이브러리를 배우기 시작했습니다. 파이썬 기본 문법은 코딩 테스트 이외에 실무에서 써먹는 데 한계가 있기 때문에 진도가 빠르다는 걸 제외하면 아주 반가운 소식입니다. 아쉬웠던 점 기습적인 프로젝트: 데이터 시각화까지만 하면 된다고는 하지만, 첫 팀플인데다가 이렇다 할 준비가 부족한 상태인지라 많이 긴장됩니다. 좋은 팀원들 만났으니 좋은 결과물 얻을 수 있으면 좋겠네요. 최소 1인분은 해야지.. 그렇게 마음 먹었습니다...