끄적끄적

IQR Method를 통한 이상치 변환 IQR(Interquartile range)이란 Q3 - Q1를 의미한다. # Q3 - Q1: 사분위수의 상위 75% 지점의 값과 하위 25% 지점의 값 차이 def outlier_iqr(data, column): # lower, upper 글로벌 변수 선언하기 global lower, upper # 4분위수 기준 지정하기 q25, q75 = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75) # IQR 계산하기 iqr = q75 - q25 # outlier cutoff 계산하기 cut_off = iqr * 1.5 # lower와 upper bound 값 구하기 lower, upper = q25 - c..

IT/머신러닝 2021. 12. 16. 08:15

나이브 베이즈 분류 (Naive Bayesian Classification) 개념 - 데이터가 각 클래스에 속할 확률을 구하는 조건부 확률 기반의 분류 방법 - Feature들은 서로 독립관계라는 가정하에 계산 - 사전확률P(B|A)을 통해 사후확률P(A|B)을 계산할 수 있음 예를 들어 경찰관의 이름이 아래와 같을 때, drew라는 이름의 경찰관이 남자인지 여자인지 계산해보면 다음과 같다. P(male | drew) = 1/3 * 3/8 = 0.125 P(female | drew) = 2/5 * 5/8 = 0.25 * 분모에 위치하는 P(drew)는 양쪽 값에서 동일한 값이기 때문에 고려하지 않음 해당 예시에서는 drew라는 이름을 쓰는 경찰관은 여성일 경우가 많음. 나이브 베이즈 장점 - featur..

IT/머신러닝 2021. 5. 1. 20:48

밀도추정이란 관측된 데이터들의 분포로부터 원래 변수의 분포 특성을 추정하는 것을 의미한다.밀도추정 방식에는 parametric, non-parametric 밀도추정 2가지 방식이존재한다. * parametric이란 probability density function에 대한 모델을 미리 설정하여 데이터로부터 모델 파라미터를 추정하는 방식 * non-parametric이란 데이터로부터 모델(확률밀도함수) 파라미터를 추정하는것이다. non-parametric 밀도 추정의 가장 간단한 형태는 히스토그램(histogram)을 사용하는것이다. Histogram(히스토그램) 관측된 데이터로부터 히스토그램을 정규화하여 확률밀도함수로 사용 히스토그램의 문제점 - bin의 경계에서 불연속성이 발생하며 bin크기와 시작위치..

IT/머신러닝 2020. 12. 20. 17:53

의사결정나무 개요 나무 형태로 분류 규칙 집합을 표현 나무의 경로는 하나의 분류규칙을 의미하며 계산 결과가 의사결정나무에 직접 표현되어 해석이 편리 의사결정나무 장/단점 장점) 이해하기 쉬움 연속형, 범주형 변수 모두 취급 가능 대용량 데이터에서도 빠르게 생성 가능 비정상 잡음 데이터에 대해서도 민감함이 없이 분류 가능 단점) 연속형일 때 예측력 감소 새로운 자료에 대한 과대적합 발생 가능성있음 설명변수 간의 중요도를 판단하기 쉽지 않음 규칙이 많아지면 과적합 발생가능성 증가, 복잡한 문제에 부적합 의사결정나무의 활용 세분화, 분류, 예측, 차원축소 및 변수선택, 교호작용효과의 파악 등에 사용 예) 신용평가 모형 가지치기(Pruning) 과대적합 방지를위한 전략으로 최대 깊이나 터미널 노드의 최대 개수,..

IT/머신러닝 2020. 12. 13. 21:44

KNN 알고리즘 개념 비모수 방법론 중 가장 많이 쓰는 알고리즘으로 분류 및 회귀 분석에 사용 K는 Neighbor의 수로 사용자가 사전에 정의한 값 거리지표를 사용하여 K개의 이웃을 선택하여 분류 K가 작을수록 복잡한 decision boundary가 생성되며, K가 클수록 선형에 가까운 decision boundary가 생성됨 K가 작은 경우 편파성(bias)감소, 분산(variance) 증가 / K가 큰 경우 편파성(bias)증가, 분산(variance) 감소 거리지표(Distance)정의 방법 1) 유클리디안 거리(Euclidean distance) - 가장 대표적인 방법 2) 마할라노비스 거리(Mahalanobis distance) - 데이터의 밀도를 고려한 거리 척도 K-NN 알고리즘 수행 단..

IT/머신러닝 2020. 12. 13. 21:13