분류 전체보기 77

[데이터 엔지니어링 부트캠프]8월 3주차 회고

좋았던 점 웹 프로그래밍에만 집중하는 것이 아니라, 그 이전 과정에서 저작권 문제나 데이터의 질(quality) 문제로 다루지 않았던 데이터 크롤링(data crawling) 부분도 함께 알려주셨습니다. 솔직한 심정으로, 지금까지 배운 것 중 가장 유용한 부분이지만 동시에 가장 조심해서 써야 할 부분이라고 생각됩니다. 너무 자주 들어가면 디도스 공격으로 오인할 여지가 있다나... 머신러닝/딥러닝을 주력으로 배우기는 했다만, 구슬이 서 말이라도 꿰어야 보배라고 기껏 훈련한 모델을 배포하고 서빙(serving)하지 않으면 의미가 없음을 강조해주신 것도 좋았습니다. 솔직히 제대로 배우지도 못했잖아 과거에 streamlit을 이용하는 것이 포트폴리오를 눈에 보이게끔 만들어주는 것이라는 것과 같은 맥락에서, 이제..

[데이터 엔지니어링 부트캠프]8월 2주차 회고

좋았던 점 파이썬과는 차이가 많은 자바를 처음 접하다보니 객체지향으로 넘어가더라도 차이가 상당히 많은데 거기에 필요한 부분을 정석에 가깝게, 또 자세하게 알려주셨습니다. 이해가 어려운 부분들에 대해서는 pdf 파일과 예제 파일 시현까지 해주시면서 설명해주셔서 그래도 짧은 기간이나마 잘 따라갈 수 있었습니다. 막판에 다음 교육 과정엔 스프링 부트에 대비해서 스프링 IoC도 간단하게 알려주신 것은 좋았습니다. 이게 득이 될 지 아니면 그냥 덤이 될 지는 까봐야 알겠지만... 아쉬웠던 점 아무리 설명을 자세하게 해주신다고 한들, 자바를 2주일 조금 안 되는 기간에 다 배우게 하는 것이 벅찼습니다. 혹자에 따르면 2주만에 자바를 다 이해했다고 하면 회사에서 이 놈은 뭐지 하는 생각에 면접은 보러 오라고 할 것이..

[자바] 자바 개발환경의 양대산맥 - Eclipse IDE 개발환경 설치 및 세팅

자바(Java)를 개발할 때 어떤 IDE를 추천하냐고 하면 흔히 인텔리제이(IntelliJ)와 이클립스(Eclipse) 중 하나를 꼽고는 합니다. 그만큼 자바 개발자들에게 널리 알려져 있기도 하고 대부분의 자바 입문 서적에서도 이 두 가지 중 하나를 선택해서 학습을 진행하기 때문이죠. 저는 부트캠프에서 이클립스를 사용해서 그 길로 이클립스를 처음으로 만져봤습니다. 이번 포스트에서는 자바를 처음 배우시는 분들이 자바를 설치하는 방법과 이클립스 개발 환경의 세팅을 다뤄보겠습니다. 들어가기에 앞서 - 그래서 자바는 어떤 프로그래밍 언어죠? 자바는 컴파일 언어와 인터프리터 언어로서의 특성을 둘 다 가지고 있는 언어입니다. 인터프리터 언어라는 특성 상 자바 실행 환경만 있으면 OS에 무관하게 실행할 수 있습니다...

[데이터 엔지니어링 부트캠프]8월 1주차 회고

좋았던 점 수요일부터 3일만 수업 들은 게 제일 좋았습... 수업자료만 보더라도 강사님이 준비를 많이 해주고 계시다는 게 느껴집니다. 최소한 강의자료 코드에 있는 오타 때문에 실행이 안 되고 수강생이 알아서 디버깅을 해야 하는 불상사가 없다는 게 아주 좋습니다. 아쉬웠던 점 자바가 확실히... 지금껏 접해온 언어와 비교했을 때는 많이 이질적이네요. 파이썬이 주력이고 C++은 약간?만 경험해본그마저도 학부 1학년 때 배운 게 전부인 저로서는 C와 비슷하면서도 여러모로 손이 많이 가는 자바의 문법이 아직은 좀 어색합니다. 새 언어를 배울 때마다 느끼는 거지만, 문법이 서로 헷갈리기 시작합니다. 파이썬 스크립트를 짜는데 주석으로 //를 쓰고 있고, 자바에서 for문을 쓰는데 왜 enumerate()가 지원이 ..

[데이터 엔지니어링 부트캠프]7월 4주차 회고

좋았던 점 딥러닝 파트 뒷부분으로 가면서 토이 데이터뿐만 아니라 실제 데이터를 이용해서 실습을 할 수 있었습니다. RNN 모델 실습을 할 때 Yahoo finance의 주가 데이터를 이용해 주가 예측 모델을 만들었습니다. 참고로 그 날 오후, 2차전지 관련주 주가가 널뛰기를 했습니다. 자바로 넘어오면서는 이론 설명과 예제 실습의 균형이 잘 잡혀있었습니다. 후술할 네이버 클라우드에 자료를 올려주시는데 혹시나 수업 중에 놓친 부분이 있어도 수업 정리 pdf를 같이 제공해주셔서 좋았습니다. 아쉬웠던 점 자바로 넘어오면서 새 강사님께서 오셨는데 예전 강사님들만큼 슬랙이나 줌을 적극적으로 활용하시지는 않는 것 같습니다. 수업 자료 공유가 네이버 클라우드로만 이뤄지는 게 조금 아쉽습니다. 그 대신이랄까 날짜별로 폴..

[데이터 엔지니어링 부트캠프]7월 3주차 회고

몸 상태가 온전히 돌아오지 못하고 고생했던 한 주였습니다... 담주부터는 몸 괜찮아질테니까 운동 나가야지... 쿨럭.... 좋았던 점 GPU 가속을 본격적으로 사용하면서 코랩과 로컬을 왔다갔다 하고 있기는 하지만, 여러 모로 학습 속도가 향상된 것이 눈에 띌 정도입니다. 한 에포크 당 2분 걸리던 것이 20초에 끝나니 참 좋죠. 극락 아쉬웠던 점 원체 기능과 키워드가 많은 파트이다 보니, 머리로는 알고 있는 내용을 막상 코드로 치려고 할 때 손이 굳습니다. 여러 번 연습을 해야 할 것 같습니다. 배운 점 CNN 개요 CNN(Convolutional Neural Network, 합성곱 신경망)은 주로 이미지, 동영상을 처리하는 컴퓨터 비전 분야에서 사용되는 모델로, 합성곱 연산을 수행하는 convoluti..

[데이터 엔지니어링 부트캠프]7월 2주차 회고

감기몸살 기운이 으슬으슬 올라오던 월요일, 이럴 때 쉬면 자신에게 너무 관대해지는 것이라는 일념으로 헬스장으로 향했습니다. 큰 실수였습니다. 그 다음날부터 급격히 몸이 안 좋아져서 수요일날도 객기 부리고 수업 나갔다가 몸 상태가 박살났습니다. 그 다음날인 목요일 하루는 아무 것도 하지 못하고 통으로 쉬었습니다. 여러분, 몸 안 좋다고 운동 함부로 나가지 마세요. 그 다음주까지도 운동 못 나갈 수 있습니다. 머리가 나쁘면 몸이 고생한다 하루 욕심 부리다가 2주 동안 운동을 못 나가게 된 이번 주 회고입니다. 좋았던 점 딥러닝의 서막: 자고로 머신러닝보다는 딥러닝이라는 이름이 더 있어보이는 이 시국? 시대에 머신러닝 파트를 떼고 딥러닝 파트로 넘어갔다는 것만 하더라도 큰 업적이라고 생각합니다. 근데 이 정도..

[데이터 엔지니어링 부트캠프]7월 1주차 회고

몇 주차를 세는 방법을 찾은 것 같습니다. 그래 $N$월 $N$주차라고 적으면 되는 거였구나! 항상 깨달음이 늦음 좋았던 점 본격적인 머신러닝 커리큘럼 - 전처리: 제가 대학원 바깥에서 데이터 엔지니어링이나 머신러닝 관련 이야기를 나누다 보면, 그거 그냥 머신러닝(또는 딥러닝) 모델 만들고 AI한테 예측해달라고 하면 되는 거 아니야? 라고 하는 걸 많이 들었습니다. 하지만 실상은 모델을 만드는 것만큼이나 그 전 과정이 굉장히 중요합니다. 요리할 때 재료 손질이 중요하고, 그림 그릴 때도 밑그림과 스케치 단계가 만만치 않게 중요하듯이, 데이터 엔지니어링과 분석에서도 일련의 전처리(preprocessing) 과정이 모델 만드는 것 못지 않게 중요합니다. 애초에 "trash in trash out"이라는 말이..

[데이터 엔지니어링 부트캠프] 6월 월간 회고

자, 6월 한 달이 순식간에 지나고, 어느덧 7월이 밝았습니다. 우린 이걸 하반기라 부르기로 했어요. 뭐 했다고 벌써 하반기냐... 한 달 간의 업적과 뻘짓을 포함해 배운 점과 아쉬웠던 점 등을 한 번에 정리해보겠습니다. 좋았던 점 사전 교육: 파이썬 기본 문법을 사전 교육에서부터 짚어주기는 했지만, 그보다는 개발 전반에 걸쳐 사용되는 툴 들의 사용법과 회고와 관련된 내용을 배운 것이 가장 좋았습니다. 기본적인 Git(깃) 사용법 및 개발 환경을 깃허브와 연동하는 방법, 취업할 때 도움이 될 만한 채용 공고 보는 법, 이제 막 학습을 시작한 위치에서도 취업에 대비할 수 있는 구체적인 전략(자격증, 코딩 테스트, 포트폴리오, 자기소개서 등)을 가르쳐주셨는데, 개인적으로는 취업 준비를 막 시작한 입장에서 가..

[깃] 깃허브에 대용량 파일 업로드하는 방법

프로젝트를 위해 깃허브 등으로 코드와 파일을 공유하다 보면 간혹 깃허브의 파일 용량 제한에 걸려 난감해질 때가 있습니다. 이는 깃허브 자체적으로 25MB (공식 문서상으로는 100MB) 이상의 용량을 가진 파일을 업로드할 수 없게 해놓았기 때문이죠. 따라서 이런 대용량 파일을 공유하는 프로젝트를 사용하려면 어쩔 수 없이 다른 툴을 사용하거나, 컴퓨터에 깔린 깃에 추가적인 조치를 취할 수 밖에 없어집니다. 이번 포스트에서는 타 프로그램이나 플랫폼을 사용하지 않고 깃 자체적으로 대용량 파일을 업로드할 수 있는 방법을 소개하겠습니다. NOTE_ 타 플랫폼의 경우 드랍박스(Dropbox)를 이용하는 것이 예시가 되겠습니다. 심지어 드랍박스는 깃허브 공식 문서에서 소개하고 있는 플랫폼이기도 합니다! (출처: ht..