데이터프레임 합치기, 행렬 합치기
비전공자로서 이해하기 힘들었던 데이터합치기의 방법에 대해 정리
numpy의 array 합치기, pandas의 Series, dataframe 합치기 및 병합
핵심개념
numpy의 concatenate는 행렬의 shape를 맞추면 합치는게 가능하다.
pandas는 2차원의 데이터프레임 형태에서 유일한 컬럼(primary key)을 기준으로 맞춰주면 시리즈끼리 혹은 데이터프레임끼리 하나의 데이터프레임을 만들어준다.
numpy - concatenate
이번 시간에는 numpy의 concatenate에 대한 내용을 살펴볼 것이다.
axis에 대한 이해와, 실제 적용 코드와 결과물을 살펴보자.
이후에는 pandas의 concat을 살펴볼 것이다.
ndarray의 형태나, dataframe를 합치는 일은 상당히 많기 때문에 익숙하게 해두면 좋다.
추가적으로, pandas의 병합 함수인 merge라는 방법이 적힌 글도 있으니 반드시 다양한 병합방법을 알아두자.
파이썬 판다스 데이터프레임 합치기 3가지 - 비전공자의 친절한 설명 in python pandas merge
데이터프레임 합치기에 대해 비전공자도 쉽게 이해하도록 설명하겠습니다. 저는 파이썬을 잘 몰랐던 비전공자입니다. 파이썬을 설명해주는곳은 학교나 온라인플랫폼이나 모두 저같은 저지능(?
koreadatascientist.tistory.com
numpy array 생성코드
우선 두 numpy array 형태를 생성해보자.
import numpy as np # numpy 라이브러리 호출
a = np.array([[1, 2], [3, 4]]) # 2 X 2 행렬
b = np.array([[5, 6]]) # 1 X 2 행렬
a_numpy array
b_numpy array
위의 두 array를 concatenate 하는 방법은 크게 2가지가 있다.
- b array를 a array의 아래에 붙이는 방법
- b array를 a array의 오른쪽에 붙이는 방법
우리가 보통 pandas 라이브러리의 dataframe을 전처리할 때, 판다스 함수들의 옵션 파라미터로 axis라는 옵션을 0 혹은 1로 준다. 여기서 axis=0은 row에 대해서, axis=1은 column에 대해서 적용한다.
row에 대한 느낌은 레코드 하나하나에 대한 느낌이고, column에 대한 느낌은 하나의 속성에 대해 적용한 느낌이다.
이러한 느낌을 그림으로 나타내면 아래와 같다.
numpy axis, pandas axis
본인도 axis에 대한 개념이 처음에는 익숙치 않아서 가로 세로 헷갈렸다.
axis = 0의 화살표가 아래로 향하는 그림들에 익숙해졌는데 어떤 연산결과를 보면 납득이 안되는 경우가 많았다.
개인적으로는 axis = 0 은 가로로 줄을 그어서 생각하는게 편했고, axis =1 은 세로로 줄을 그어서 생각하는게 편했다.
(지금 이해가 안되도 계속 아래에 설명해놨으니 넘어가자)
numpy concatenate로 돌아와서,
concatenate를 하는 두가지 방법에 대해서 다시 살펴보자.
두 방법을 코드로 구현하면 모두 동일하다.
numpy를 선언한 뒤에 concatenate라는 메소드를 불러와서 두 array 형태를 괄호 안에 넣어주면 된다.
np.concatenate((a, b))
다만 아까 언급한 옵션 파라미터 중 axis가 0이냐 1이냐에 따라 결과가 달라진다.
우선 첫번째 방법이었던 b array를 a array의 아래에 붙이는 방법은 어떻게 나타낼까?
답을 내기 이전에, d array를 a array의 아래에 붙이기 위해서는 axis=0과 axis=1중 무엇이 올바른 방법일까?
본인이 위에서 언급한 것을 참고하면, axis=0은 데이터프레임 아래쪽에 가로줄을 쭉 긋는 것이다.
많은 이미지들이 화살표가 아래로 내려갔기 때문에 세로로 줄을 긋는다고 혼동할 수 있으나,
데이터프레임에서 가로로 줄을 긋는다는 것이 값들은 세로로 합산된다는 의미인 것임을 알아야 한다.
즉 아래쪽으로 쭉 계산하기 위해서는 데이터프레임의 아랫부분에 줄을 하나 그어서 수학 연산 한다고 생각하면 편하다.
엑셀로 도식화하면 아래와 같다.
(아래에 굵은 가로줄이 있음에 집중하자. 화살표는 해당 값들이 어떤식으로 진행되는지를 나타내는 그림이었다.)
그렇기 때문에 b array를 a array 아래에 붙이는 concatenate를 하기 위해선 axis=0이라는 옵션 파라미터를 넣어줘야 한다.
numpy concatenate axis=0 코드
np.concatenate((a, b), axis=0)
해당 결과는 어떤식으로 나올까?
다시 a와 b의 array형태를 보여주겠다.
a_numpy array 2 X 2
b_numpy array 1 X 2
따라서 두 행렬을 axis=0 기준으로 합친다면 a array의 아랫부분에 가로로 긴 줄을 긋는다고 생각하자.
결국 b array 는 a array의 아래로 들어가서 아래와 같은 결과물이 나올 것이다.
concatenate axis=0
numpy concatenate axis=1 코드
그렇다면 axis=1인 경우에는 어떻게 될까?
a array의 오른쪽에 긴 세로줄을 긋고 그 오른쪽에 b array를 붙인다고 생각하면 될 것이다.
그런데 문제가 있다.
b array는 1 X 2의 행렬형태인데, 도대체 오른쪽에 붙여야 한다면 첫번째 행에 붙일지, 두번째 행에 붙일지 알 수가 없다.
그렇기 때문에 numpy 자체도 오류가 발생한다.
numpy concatenate error
에러 내용인 즉슨, "모든 인풋 차원은 정확히 axis에 대해 매칭되어야 하니까 잘 맞춰봐 이자식아..(?)" 라고 보면 된다.
다시 잘 살펴보자. 기계가 이해하기에는 대략 이런 문제인 것이다.
b array를 첫번째 row에 넣으란건지, 두번째 row에 넣으라는 건지 모른다는 것이다.
첫번째 row에 붙인 b array
두번째 row에 붙인 b array
결론적으로, 둘 다 불가능하다는 이야기이다.
그래서 여기서는 b의 shape를 변경해줘야 한다.
즉 a array는 2 X 2 이므로, 적어도 b array 는 2 X n 형태로 나타나야 한다는 것이다.
그러기 위해서는 b array를 전치(대각선 기준으로 행은 열로, 열은 행으로 뒤바꿈)한 뒤, 붙여줘야 한다는 것이다.
b array
전치된 b array
b.T # b array Transpose
여기서 특정 array를 전치시키기 위해서는 넘파이의 Transpose를 나타내는 T 함수를 쓰면 된다.
그러면 Transpose(전치)된 b array는 2 X 1 의 행렬이 되고, 이제는 axis=1 기준으로 array a와 concatenate를 할 수 있게 된다.
np.concatenate((a, b.T), axis=1)
a array & b transpose array concatenate
정리
우리는 지금까지 numpy의 concatenate라는 함수를 살펴보았다.
concatenate의 핵심 개념은 numpy의 array 형태를 합치는 (join) 기능을 한다는 것이다.
특히 axis라는 것을 통해서 아래에 붙일지(axis=0), 오른쪽에 붙일지(axis=1)를 결정한다.
그러기 위해서는 두 array의 shape(n X n의 형태)를 맞춰줘야 한다
shape를 맞추기 위해서 한쪽의 array를 전치(Transpose)시키는 것까지 해보았다.
이후에는 pandas의 concat을 통해서 Series 타입이나, DataFrame 타입을 합치도록 해보자.