[D+19][프로젝트 #1-1] CSV 파일 업로드 에러(Error occurred during batch insert)

 

🔥 드디어 데이터분석 부트캠프 첫 번째 팀 프로젝트를 시작했습니다🔥

첫 프로젝트 주제는 <마케팅 성과 측정을 위한 데이터 분석 - Hotel booking demand>로 선정했습니다. 

데이터 분석이 많이 활용되는 서비스 기획 혹은 마케팅 분야 프로젝트 진행하고 싶었거든요!

 

캐글의 Hotel booking demand 데이터를 활용하기로 결정했는데요. 

데이터 전처리를 위해 DBeaver 데이터베이스로 불러오는 과정에서 오류를 마주하게 되어 

어떻게 이를 해결하고 데이터를 불러왔는지 소개해드리려고 합니다 :)  

---

⚠️ 오늘 마주한 에러 메시지 ⚠️

Error occurred during batch insert
(you can disable batch insert in order to skip particular rows).

이유:
Can't parse numeric value [NA] using formatter

 

 

"Error occurred during batch insert"

위 오류 메시지는 데이터베이스에 데이터를 일괄 삽입(batch insert)하는 동안 문제가 발생했음을 의미한다고 해요. 

해당 오류는 아래 원인 등으로 인해 발생하는데, 구체적인 원인은 하단 메시지를 통해서 확인할 수 있습니다! 

 

① 데이터 형식의 문제 

② NULL 값 문제 

③ 중복키 문제

④ 문자열 데이터 길이가 허용치를 초과한 경우  

⑤ 외래 키 제약 조건을 위반한 경우 등등. 

 

이유: Can't parse numeric value [NA] using formatter

제 경우에는 CSV 파일에 숫자형 데이터를 변환할 수 없는 값[NA]을 MYSQL로 가져와 문제가 발생했습니다. 

 

이럴 땐 CSV 파일에서 'NA' 값을 제거하거나,

적절한 값(ex. NA → NULL)으로 대체해 줄 수 있고,

아예 잘못된 형식의 데이터를 건너뛰도록 설정할 수 있어요. 

 

저는 데이터의 개수를 유지하고 싶어서

NA를 NULL 값으로 대체해서 가져오는 방식을 택했습니다. 

 

파이썬을 활용해서 Na을 NaN으로 바꿔주었고,

처리가 끝난 파일을 제 컴퓨터에 경로를 지정해 저장해 주었습니다. 

해당 파일은 MYSQL에 정상적으로 잘 들어가게 됩니다 :) 

 

import pandas as pd

# CSV 파일 읽기
input_path = "C:/Users/_____/Downloads/hotel_bookings.csv"
df = pd.read_csv(input_path)

# 'NA'를 NaN으로 변환
df.replace('NA', pd.NA, inplace=True)

# CSV 파일로 저장
output_path = "C:/Users/_____/Downloads/processed_hotel_booking_file.csv"
df.to_csv(output_path, index=False)

print(f"File saved to {output_path}")

 

참고 사항. 

• 파일 경로는 우클릭하여 복사할 수 있어요.
  처음 복사한 파일 경로는 \ (백슬래시)를 사용해서 오류가 발생했는데,
  /(슬래시)로 변경해주면 오류 없이 CSV 파일을 가져올 수 있습니다. 
• CSV 파일 저장 경로를 지정해주지 않으면 프로그램 디렉토리에만 저장되어 컴퓨터에서 파일을 찾을 수 없어요. 
  만약 해당 프로그램으로 전처리와 EDA, 시각화까지 쭉- 진행한다면 별도로 저장할 필요는 없지만, 
  다른 프로그램에 직접 업로드할거라면 저장 경로를 지정해 주세요. 
• 위 코드에서 구체적인 파일 경로는 _____로 대체해두었습니다.