[D+13] 데이터 분석을 위한 파이썬(5) - 코랩(colab) csv, excel 파일 불러오기, 라이브러리, 리스트 컴프리헨션, lambda 함수

💡Python

[D+13] 데이터 분석을 위한 파이썬(5) - 코랩(colab) csv, excel 파일 불러오기, 라이브러리, 리스트 컴프리헨션, lambda 함수

김숮엉 2024. 5. 3. 21:06

✏️ STUDY INDEX

1. 코랩(colab)에 csv, excel 파일 불러오기
2. 라이브러리 소개
3. 리스트 컴프리헨션(List Comprehension)
4. lambda 함수

1. 코랩(Colab)에 csv, excel, txt. 파일 불러오기

지난 [D+9] 포스팅에서 코랩(colab)은

구글에서 제공하는 클라우드 기반 주피터 노트북 환경으로,

웹 상에서 파이썬을 실행할 수 있도록 지원한다고 소개드렸는데요.

오늘은 코랩에 다양한 포맷의 데이터 파일을 불러오는 방법을 알려드리려고 합니다.

나중에 캐글에서 프로젝트를 진행하실 때 필요할 수 도 있으니까요! 전 과제로 이번에 처음 배우고, 진행해 봤어요!

STEP ① 구글 드라이브 마운트하기

먼저 [중요] 갖고 있는 데이터 파일을 구글 드라이브 폴더에 업로드해주셔야 해요.
*드라이브 마운트(drive mount) : 구글 드라이브 파일을 로컬 환경에서 접근할 수 있도록 하는 작업을 의미
아래 코드를 통해 드라이브 마운트할 수 있어요.

from google.colab import drive
drive.mount('/content/drive')

STEP ② 연결하려는 파일 경로 읽고 불러오기

해당 파일을 읽기 위해서 pandas 라이브러리의 read_파일포맷() 함수를 사용해야 해요.
사용하고자 하는 데이터 파일의 경로 입력해주세요. *참고. 아래 이미지처럼 폴더/파일 우클릭으로 경로 복사 가능!
[중요] 파일 포맷에 맞게 확장자명을 다르게 설정해주셔야 해요.
csv 파일 df = pd.read_csv('파일명.csv') *파일명은 함수로 대체 가능
excel 파일 df = pd.read_excel('파일명.xlsx')
파일 경로는 이런 형태로 구성되고, 공유 드라이브에서 가져올 경우엔 my drive를 ' Shared drives'로 바꿔주시면 됩니다.
/content/drive/Mydrive/<세부 폴더명>/<파일명>

import pandas as pd

file_address = "/content/drive/MyDrive/sample_data/train.csv"
df = pd.read_csv(file_address)

2. 데이터 분석과 관련된 파이썬 라이브러리 소개

① pandas : 데이터 정렬, 필터링, 통계 분석 및 시각화 등 데이터 조작과 분석을 위한 라이브러리. 1차원 배열, 2차원 표 구조.

② numpy : 고성능 수치 계산을 위한 라이브러리. 다차원 배열, 행렬 연산 지원

③ tensorflow : 딥러닝, 머신러닝을 위한 구글의 오픈 소스 라이브러리. (학습을 위한 라이브러리!)

④ matplotlib : 데이터 시각화를 위한 라이브러리. 선 그래프, 히스토그램, 산점도 등 가능.

⑤ seaborn : matplotlib 기반의 데이터 시각화 라이브러리. 색상, 테마 등을 지원하여 보다 화려한 시각화 가능!

해당 라이브러리들은 아래 방식으로 임포트하여 파이썬에서 사용할 수 있습니다.

(숮엉) 사실 저도 아직 pandas 밖에 사용해 본 적이 없어요ㅎㅎ 이마저 왕초보. 나머지는 차차 배우게 되면 블로그에 잘 포스팅해 보겠습니다.

import pandas as pd
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
import seaborn

3. 리스트 컴프리헨션(List Comprehension)

리스트 컴프리헨션은 리스트를 간결하게 생성하는 방법으로, 반복문과 조건문을 사용하여 리스트를 생성해요.
기본적인 구조 : [표현식(계산) for x(반복되는 값) in 반복할 데이터 if 조건문]
만약 위 구조에서 if 조건문 뒤에 else까지 사용하고자 한다면 아래 구조로 써주어야 함! *세번째 코드 참고.
[표현식(계산) if 조건문 else 대체표현식 for 항목 in 반복할 데이터]

# 사용자의 id를 대문자로 변환한 리스트 만들기. (왜 만드는지는 모름. chat gpt가 문제 내줌) 
user_id = input('input your id : ') 
upper_list = [ a.upper() for a in user_id ]

# 기존 리스트 *2 한 리스트 만들기 
list_1 = [2,3, 4, 5,4]
list_2 = [ a*2 for a in list_1]

#리스트에서 홀수는 그대로, 짝수는 0 으로 바꾼 리스트를 생성하기 
old_list = [1, 3, 5, 8, 7, 13, 18]
new_list = [ a if a % 2 ==1 else 0 for a in old_list ]
print(new_list)

4. lambda 함수

람다 함수(lambda function)는 익명 함수로, 주로 1줄로 매우 간단하고 표현되는 함수예요.
간단한 연산이나 조작이 필요한 경우에 사용!
def 가 아닌 lambda 키워드를 사용하여 정의하고, 아래와 같은 구조를 갖고 있어요.
lambda 매개변수들: 표현식(계산)
람다는 아래 함수와 자주 사용되는 점도 꼭 참고해 주세요!
filter와 map은 비슷한 기능을 하는데 '조건 여부'에 따라 골라서 사용하면 되겠어요 :)
filter( 조건 함수, 반복할 데이터)
map (함수, 반복할 데이터)

# 주어진 리스트에서 짝수만 반환한 리스트 생성하기 
list_1 = [1, 2, 3, 4, 5, 6, 7, 8]
even_numbers = list(filter(lambda x : x %2 ==0, list_1))
print(even_numbers)

# 리스트 요소를 제곱하여 반환하는 리스트 생성하기 
list_2 = [1, 3, 4, 6, 7, 8, 10]
list_3 = list(map(lambda x : x** 2, list_2))
print (list_3)

[ TIL ] 2024. 5. 3

오늘의 공부는 여기까지입니다.

이번에는 5주 차에서 배운 내용의 반 정도만 정리했습니다.

포스팅 하나에 모두 담기엔 내용이 방대하고, 제가 아직 복습을 덜 끝내서 2번에 나눠서 올리려고요!

이번에 파이썬 과제가 정말 어려웠어서(비전공, 입문자 기준) 저를 포함한 스터디 팀원들이 아주 머리가 많이 아팠습니다.. 그래도 어찌어찌 모두 풀어서 굉장히 뿌듯했어요! 튜터님께서는 앞으로 pandas를 활용한 데이터 조작 방법을 배울 수 있을 거라고 하셨는데, 그 부분이 상당히 기대가 됩니다!! 기존 모듈을 활용하는 것이다 보니, sql과 비슷한 방식이면서 훨씬 간결해 보이더라고요!! 얼른 배워서... 아직은 어려운 이 알고리즘 기간을 넘어가고 싶습니다 ㅠㅠ 어제오늘은 정말 과제로 머리 아픈 나날이었어요... 💦🍀 머리 아프니깐 아이들 노래 듣겠습니다. 애니메이션 주제가 느낌에 저가 아주 환장하는 스타일입니다. 머리 아픈 분들께 추천합니다.

(여자)아이들((G)I-DLE) - '나는 아픈 건 딱 질색이니까(Fate)' LIVE CLIP

저작자표시 비영리 변경금지