Ming's blog

안녕하세요! 오늘 소개드릴 책은 이기적 출판사의 '2023년 빅데이터 분석기사 실기' 교재 입니다. 빅데이터 분석기사 실기 시험은 필답형과 작업형으로 이루어져 있는데요. 필답형의 경우, 필기 시험에서 공부하셨던 부분에서 10문제 정도 단답형으로 답하는 유형입니다. 또한, 작업형의 경우, 직접 프로그램을 통해 분석을 진행하는 유형으로 언어로 python이나 R 등을 사용할 수 있습니다. 빅데이터 분석기사를 준비하며 어떤 교재를 사용해야할지 고민이 많으셨을 텐데요. 교재 선택에 조금이나마 도움이 되고자 이 교재에 대한 평을 남겨보려고 합니다. 이기적 교재는 1권 필답형 + 파이썬 분석, 2권 R분석으로 이루어져 있습니다. 보통, 빅데이터 분석기사 교재는 내용이 많아 굉장히 두꺼워 휴대하기 어려웠던 경험이 많..

안녕하세요~! 오늘은 데이크루의 마지막 활동 내용인데요! 소개해드릴 내용은 오토인코더 기법을 활용한 이상탐지입니다. 이번 실습에서 사용한 데이터는 앞에서 사용하였던 신용 카드 데이터입니다! 앞에서 소개드렸던 오토인코더 모델들을 사용하여 신용카드 사기탐지모델 실습을 진행하였습니다. 더 자세한 내용은 아래의 링크를 참고해주세요😊 감사합니다. https://dacon.io/codeshare/5104?utm_source=dacrew&utm_medium=190302&utm_campaign=dacrew_2 [Team Zoo] 9편. 오토인코더 실습(1부) dacon.io https://dacon.io/codeshare/5140?utm_source=dacrew&utm_medium=190302&utm_campaign=..

안녕하세요~! 오늘 소개해드릴 내용은 오토인코더입니다. 오토인토더의 기본 개념부터 과소완전 오토인코더, 과대완전 오토인코더 등 여러 종류의 오토인토더에 대해 소개해 드리려고 합니다. 오토인코더는 representation learning 에 신경망을 활용하는 비지도 학습 방법입니다. * representation learning이란? 입력 데이터를 기반으로 기댓값에 가깝게 만드는 유용한 표현을 학습하는 방식 오토 인코더의 핵심 개념은 새로 학습한 내부 표현을 사용해 원본 관측치에 가깝게 재건한다는 것입니다. 오토인코더는 차원 축소 및 자동 피처 엔지니어링 및 학습에 널리 사용되며, 오늘날에는 종종 GAN과 같은 생성 모델을 구축하는데 사용합니다. 오토인코더는 인코더와 디코더 두 부분으로 구성됩니다. 인코..

안녕하세요~! 오늘 소개해드릴 내용은 비지도학습 기반 머신러닝 기법을 활용한 이상탐지입니다. 이번 실습에서 사용한 데이터는 kaggle의 Credit Card Fraud Detection Dataset입니다! 지난번에 소개드렸던 비지도학습 기반의 머신러닝 모델을 이용하여 신용카드 사기 탐지 모델을 만드는 실습을 진행하였습니다. 일반 PCA 모델 부터 희소 PCA, 커널 PCA와 같은 방법, 그리고 사전학습, ICA 기법 등을 활용하여 비지도 학습 모델을 만들어 보았습니다. 더 자세한 내용은 아래의 링크를 참고해주세요😊 감사합니다. https://dacon.io/codeshare/4954?utm_source=dacrew&utm_medium=190302&utm_campaign=dacrew_2 [Team Zo..

안녕하세요~! 오늘 소개해드릴 내용은 지도학습 기반 머신러닝 모델 이론과 실습입니다. 이번 실습에서 사용한 데이터는 MNIST Dataset입니다! 비지도학습 기반의 머신러닝 모델로 여러 종류의 차원축소 기법들에 대해 소개해 드리려고 합니다. 이론과 함께 해당 모델로 실습까지 진행하였습니다! 더 자세한 내용은 아래의 링크를 참고해주세요😊 감사합니다. https://dacon.io/codeshare/4874?utm_source=dacrew&utm_medium=190302&utm_campaign=dacrew_2 [Team Zoo] 4편. 비지도 학습 기반의 머신러닝 기법(1부) dacon.io https://dacon.io/codeshare/4890?utm_source=dacrew&utm_medium=190..

안녕하세요! 오늘은 지난번에 소개드렸던 지도학습 모델의 하이퍼 파라미터 튜닝 방법과 앙상블 모델에 대해 소개드리려고 합니다. 모델링의 성능을 높이기 위해서 적절한 하이퍼 파라미터를 찾는 것이 중요합니다. 하이퍼 파라미터 튜닝 방법으로는 gridsearch, RandomizedSearchCV 와 같은 방법부터 bayesian 방법, optuna 프레임워크를 이용한 방법 등이 있답니다. 이러한 방법들의 개념에 대해서 알아보고 실습을 통해 얼마나 모델 성능이 향상되는지 알아보도록 해요! 그리고 보팅, 스태킹 등의 방법과 같은 앙상블 모델에 대해서도 소개드리겠습니다. 자세한 내용은 아래 링크를 참고해주세요~ 감사합니다! https://dacon.io/codeshare/4853?utm_source=dacrew&u..

안녕하세요~! 오늘 소개해드릴 내용은 지도학습 기반 머신러닝 모델 이론과 실습입니다. 이번 실습에서 사용한 데이터는 kaggle의 Credit Card Fraud Detection Dataset입니다! 신용카드 사기 탐지 모델을 만드는 것이 저희의 최종 목표인데 그 전에 EDA 기법부터 지도학습 기반의 머신러닝 기법에 대해 조사하였습니다. 지도학습 기반의 머신러닝 모델로는 간단한 Logistic regression 부터 Decision Tree, 배깅을 이용하는 Random Forest, 부스팅 기법을 이용하는 Gradient Boosting, XGBoost, LightGBM 까지 조사해보았습니다. 이론과 함께 해당 모델로 실습까지 진행하였습니다! 더 자세한 내용은 아래의 링크를 참고해주세요😊 감사합니다..

안녕하세요~! 오늘은 DACrew 2기 TeamZoo의 첫 번째 게시물을 소개드리려고 합니다. 이번 게시물의 주제는 이상탐지의 개념과 활용 사례, 그리고 지도 학습과 비지도 학습 입니다. '핸즈온 비지도 학습' 교재를 바탕으로 학습을 진행하였습니다. 이상치란 어떤 데이터 안에서 다른 관측값들과 다른 방법에 의해 생성되었다고 의심되는 관측값, 같은 표본 안에 존재하는 다른 관측값들과 비교하여 현저히 다른 관측치입니다. 그리고 이상탐지란 데이터 마이닝을 기반으로 한 데이터 분석 기법 중의 하나로, 이상치를 탐지하는 기법입니다. 이상탐지 기술은 IT 보안, 의료진단, 제조공정의 모니터링 등 다양한 산업분야에 적용되고 있으며 활용분야가 점차 확대되고 있습니다. 이상탐지 기법에는 아래와 같이 지도학습, 준지도학습..