티스토리

Seongho Jang

검색하기

블로그 홈

Seongho Jang

seonghojang.tistory.com/m

seonghojang 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

Pandas 전처리 연습 모음 Groupby 후 상위 n개 행 가져오기 이 용도의 nlargest 와 nsmallest API를 제공하고 있다. 하지만, 가장 빠른 방법은 데이터프레임을 원하는 값으로 정렬한 후에 groupby 하고, head 로 가져오는 것이다. id, name, total 로 구성된 데이터프레임이 있고, 각 name의 값을 total 로 정렬해 상위 3개만 가져오고 싶다면 아래와 같이 처리하는 것이 빠르다. df.sort_values(by='total', ascending=False).groupby('name').head(3) DataFrame.groupby 문서에 의하면, sort : boolean, default True Sort group keys. Get better performance by turning.. 공감수 0 댓글수 0 2023. 1. 30.
Datamanim 전처리 연습(중) 모의고사 1회차 Question10 각 job에 따라 divorced/married 인원의 비율을 확인 했을 때 그 값이 가장 높은 값은? df2 = df.groupby(['job', 'marital']).size().reset_index() df2.columns = ['job', 'marital', 'count'] df2 = df2.pivot(index = 'job', columns = 'marital', values = 'count') df2.columns = df2.columns.values df2['rate'] = df2['divorced'] / df2['married'] df2.sort_values(by = 'rate', ascending = False) pivot을 걸면 컬럼명이 list 형식.. 공감수 0 댓글수 0 2023. 1. 28.
전체 내용 정리 *sklearn에서는 fit 뒤에 종속변수/독립변수 입력해서 fitting하기 단순회귀분석 from statsmodels.formula.api import ols model = ols(formula = "종속변수 ~ 독립변수", data = df).fit() 예측값 : df_test["독립변수"].fittedvalues 잔차 : df_test["독립변수"].resid 다중회귀분석 from patsy import dmatrices from statsmodels.stats.outliers_influence import variance_inflation_factor y, X = dmatrices(formula, return_type = 'dataframe') formula = "casual ~ " + " + .. 공감수 0 댓글수 0 2023. 1. 22.
Ch.14 다중 회귀분석 다중 회귀분석 연속형 종속변수와 두 개 이상의 독립변수 간 선형관계 및 설명력을 확인하는 기법 독립변수가 명목형 변수인 경우 가변수 변환 후 모델 적합 다중공선성 독립변수 간 강한 상관관계가 나타나는 문제 회귀모델 생성 후 분산팽창계수(VIF)를 확인하여 관련 변수를 처리(제거 등) VIF import pandas as pd from patsy import dmatrices from statsmodels.stats.outliers_influence import variance_inflation_factor as vif VIF를 계산하는 방법은 공식처럼 되어있는 것 같은데, 1) dmatrices를 써서 원하는 변수를 matrix 형태로 구성하고, 2) columns를 나열하는 열, VIF를 계산하는 열을.. 공감수 0 댓글수 0 2023. 1. 14.
Ch.9 - 10. 데이터 전처리(3) : 정렬, 변환, 사용자 정의함수 crosstab : 데이터프레임의 두 변수의 원소 조합 빈도를 확인하는 함수 value와 aggfunc에 변수와 요약함수를 지정하면 별도의 산술연산 가능 normalize = 0 : row에 대한 정규화 normalize = 1 : column 에 대한 정규화 aggfunc를 지정 시 별도의 연산이 가능하며, (여기서는 pd.Series.mean으로 평균) Clustering에 자주 활용된다. 위 연산을 Long Form으로 계산 가능하다. sort_values: 데이터 정렬 함수 정렬 기준을 2개 이상으로 할 경우, 리스트 형식으로 작성하면 된다. melt : Wide form 형태의 데이터를 Long form으로 바꾸는 함수 pivot : Long form 형태의 데이터를 Wide form으로 바꾸는.. 공감수 0 댓글수 0 2023. 1. 8.
Ch.8 데이터 전처리(2): 데이터 병합 3. 데이터 병합 bike_sub = bike.sample(n=4, random_state = 123) bike_sub = bike_sub.reset_index(drop = True) bike_sub = bike_sub.set_index("datetime") reset_index(drop = True)로 기존 index를 지우고, set_index(df["datetime"])으로 datetime을 index로 설정하기 bike_1 = df.iloc[:3, :4] bike_2 = df.iloc[5:8, :4] pd.concat([bike_1, bike_2]) concat: 데이터를 row 또는 column 방향으로 이어붙이는 함수 데이터 병합 시에 서로 다른 변수 속성 또는 인덱스에 주의 index가 다른.. 공감수 0 댓글수 0 2023. 1. 8.
Ch.6 - 7 데이터 전처리(1): 결측치, 이상치, 파생변수 생성 1. 결측치/이상치 처리 df.isna().sum() df.isna().sum(axis = 1) axis = 0 : column 방향 (각 변수별 결측치 개수) axis = 1 : row 방향 (각 row별 결측치 개수) df.fillna(value = {"Sepal_Length" : df_na["Sepal_Length"].mean()}) 특정 column만 결측치를 수정하고 싶다면, value 뒤에 dictionary 형태로 작성하면 됨 그 외 다양한 method가 있는데 나중에 천천히 읽어보기... value : scalar, dict, Series, or DataFrame Value to use to fill holes (e.g. 0), alternately a dict/Series/DataFram.. 공감수 0 댓글수 0 2023. 1. 6.
Ch.18 의사결정나무 의사결정나무 : 의사결정 규칙을 나무 구조로 도식화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류하거나 예측하는 계량적 분석 방법 Root Node: 모든 자료를 포함하는 의사결정 나무의 출발점 Leaf Node : 최종 결과를 나타내는 마디로 자료들은 더이상 나누어지지 않음 Depth: 뿌리 마디부터 끝 마디까지 중간 마디들의 수 분류 나무: 범주형 목표 변수를 기준으로 마디를 나눔 끝마디에 포함된 자료의 범주가 분류 결과값이 됨 회귀 나무: 연속형 목표 변수를 기준으로 마디를 나눔 끝마디에 포함된 자료의 평균값이 각 끝마디의 회귀값이 됨 의사결정 나무의 알고리즘 : 불순도를 감소시키는 방향으로 분리 = Information Gain이 증가하는 방향으로 분리 불순도 - 범주형 목표 변수 : Gin.. 공감수 2 댓글수 0 2023. 1. 3.
Ch.17 KNN 1. KNN (K-Nearest Neighbor) K의 가장 가까운 사례를 Train Data Set에서 찾아 해당하는 데이터의 y값을 기반으로 결과 제시 분류와 회귀 문제를 모두 다를 수 있음 - 분류 문제(Classifier)를 풀 떄는 class 다수결로 결과 class를 예측 - 회귀 문제(Regressor)를 풀 떄는 가중평균값을 결과값으로 예측 K값이 작을수록 overfitting, K값이 클수록 underfitting의 위험이 있음 2. KNeighbors from sklearn.neighbors import KNeighborsClassifier from sklearn.neighbors import KNeighborsRegressor # 분류 model_c = KNeighborsClassif.. 공감수 1 댓글수 0 2023. 1. 2.
Ch.15 로지스틱 회귀분석 1. 로지스틱 회귀 Supervised Learning의 일종으로 입력 데이터에 존재하는 Feature값들과 label 값들의 class간의 관계를 학습하여 새로 관측된 데이터의 class를 예측하는 문제 - 이진 분류: Label 값으로 0/1, Y/N 등과 같이 두 가지 class만 가능 ★ 로지스틱 회귀의 변환 과정 - 임계값: P(Y = 1) > 임계값이면 1로 분류 / P(Y = 1) < 임계값이면 0으로 분류 임계값을 낮추면 민감도가 높아져 오분류가 높아지더라도 Y = 1인경우를 최대한 분류 임계값을 높이면 Precision이 높아져 알파 오류를 최소화 - ROC Curve와 AUC(Area Under the Curve): Negative 중 False Negative를 x축에, Positiv.. 공감수 0 댓글수 0 2023. 1. 2.
Ch.16 나이브 베이즈 분류 1. 베이즈 추정 사후확률을 사전확률과 조건부확률의 결합으로 추정하는 방법 사건 B의 원인을 제공하는 확률 P(A)를 사전확률이라 하고, 사건 B가 일어난 이후의 확률P(A｜B)을 사후확률이라 함 2. 나이브 베이즈 Feature들이 모두 동등하게 중요하며 독립적이라는 가정 결론적으로 나이브 베이즈는 분자 (P(A)P(A｜B)) 기준으로 숫자가 큰 쪽으로 분류 P(Yes｜X) = P(Red｜Yes) * P(SUV｜Yes) * P(Domestic｜Yes) * P(Yes) = 0.6 * 0.2 * 0.5 * 0.5 = 0.024 P(No ｜X) = P(Red｜No) * P(SUV｜No) * P(Domestic｜No) * P(No) = 0.4 * 0.6 * 0.6 * 0.5 = 0.072 따라서 분류는 No... 공감수 1 댓글수 0 2023. 1. 2.
Ch.13 비계층적 군집분석 1) 정규화/표준화 from sklearn.preprocessing import MinMaxScaler from sklearn.preprocessing import StandardScaler nor_minmax = MinMaxScaler().fit(df_1.iloc[:,:-1]) nor_minmax.transform(df_1.iloc[:,:4]) df_minmax = pd.DataFrame(nor_minmax.transform(df_1.iloc[:,:-1]), columns = df_1.columns[:4]) MinMax Scaler를 사용 fit: 입력 데이터의 형태에 맞춰 데이터를 변환하기 위해 사전 구조를 맞추는 작업 transform: 실제 작업을 수행하는 함수 둘다 뒤에 수행할 데이터셋이 들어간.. 공감수 0 댓글수 0 2023. 1. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.