Spark 데이터 처리 10계명

1. 셔플링을 주의하자

• 데이터 분산 처리시 불필요한 셔플링 발생 주의

• 클러스터 환경에서 동작하기 때문에 데이터와 연산을 적절히 분산시키기 → 파티셔닝 중요

2. 메모리 관리를 잘하자

• Disk Spill 주의

• 데이터가 너무 크면 메모리에 들어가지 못해서 Disk Spill이 발생 → OutOfMemoryError 발생

• OOM Error 예방
• 대용량 데이터셋을 조인할 때 메모리 초과 오류 발생 가능
• 방지하기 위해 데이터셋을 적절히 파티셔닝하고, 메모리 설정을 조정하여 데이터가 메모리에 잘 들어가게 함
 

3. 캐싱과 체크포인팅을 잘 활용하자

• 자주 사용하는 데이터셋은 cache(), persist() 메서드를 통해 메모리에 캐싱하기

• 체크포인팅을 사용해서 복잡한 연산의 중간 결과 저장하기

• 반복적인 데이터 사용
• 여러번 필터링, 조인을 반복적으로 수행해야하는 데이터셋이 있다면 캐싱을 통해 성능 크게 향상 가능
• 복잡한 연산의 중간 결과 저장시 checkpoint()를 사용해 안정성 향상
 

4. 파티셔닝을 잘 활용하자

• 파티션 수 설정 및 조정하여 클러스터 노드 간의 작업 분배를 최적화를 통해 성능 개선하기

• 데이터 로드 성능 최적화
• 데이터셋을 읽어올 때 파티션 수를 조정하여 데이터 로드 속도 개선 가능
• repartition(), coalesce() 메서드 사용하여 파티션 수 조절
 

5. 컬럼 연산을 수행할 때는 되도록 내장 함수를 사용하여 최적화 하자

• 데이터프레임에서 컬럼 연산을 수행할 때 가능한 벡터화된 연산을 사용하여 성능 높일 수 있음

• 백터화된 연산을 통한 성능 향상
• withColumn() 메서드를 사용하여 새로운 컬럼 추가할 때, UDF 대신 내장 함수 (col, lit 등)를 사용하기
• 이를 통해 JVM 레벨에서 최적화되어 뛰어난 성능 유지 가능

6. 조인 연산을 최적화 하자

• 브로드캐스트 조인
• 작은 데이터셋을 큰 데이터셋과 조인할 때 작은 데이터셋을 브로드캐스트하여 모든 노드에 복사하면 셔플링 비용 감소 가능
• broadcast 함수를 사용하여 브로드캐스트 조인 수행 가능
• broadcasted_df = broadcast(df)

• 파티셔닝 활용
• 데이터를 저장할 때 JOIN Key를 기반으로 파티셔닝 후 저장하면 동일한 키를 가진 레코드들이 같은 파티션에 배치되어 조인 성능 개선

• Skewed Data 처리
• JOIN KEY가 편향되어 불균형하게 분포되어 있는 경우, 특정 작업자 노드에 부하 집중 발생
• SALTING 기법을 사용해 데이터 분포를 균일하게 만들기
• Salting 기법 예제 코드

7. UDF 사용을 되도록이면 최소화 하자

• 사용자 정의 함수의 사용은 성능을 저하시킬 수 있으므로 기본 제공 함수, 벡터화된 연산 사용
• 문자열 처리 작업에서 substring(), concat() 등과 같은 내장 함수 사용
 

8. 로그 분석과 모니터링 없는 데이터 처리는 물 없는 수영장과 같다

• 작업 진행 상태 모니터링

• 문제 발생시 로그를 통해 원인 분석

• Spark UI를 활용해 작업 상태와 성능 확인
• 각 작업의 실행 계획과 수행 시간 확인 후 병목 지점을 찾아 최적화 진행

9. 적합한 데이터 포맷을 사용하자

• 적절한 데이터 포맷(parquet, ORC 등)을 선택하여 효율적으로 데이터를 읽고 쓰기
• 대용량 데이터를 저장할 때는 높은 압축률과 빠른 읽기 성능을 제공하는 Parquet 포맷 사용하여 처리 속도 개선

• CSV (Comma-Seperated Values)
• 장점 : 높은 호환성, 단순 구조, 높은 가독성
• 단점 : 문자열로 저장되는 데이터 타입, 낮은 압축 효율성, 메타데이터 부족
• 성능 : 느린 읽기/쓰기 속, 병렬 처리 어려움
→ 작은 규모의 데이터셋, 호환성이 중요한 경우, 사람이 직접 데이터를 확인해야 하는 경우에 적합

• Parquet
• 장점 : 컬럼 기반 저장으로 매우 뛰어난 읽기 성능, 높은 압축 효율성, 메타데이터 존재, 높은 병렬 처리 성능
• 단점 : CSV 대비 높은 복잡성, 낮은 호환성
• 성능 : 높은 읽기 속도에 반해 CSV 보다 느릴 수 있는 쓰기 속도, 높은 병렬 처리 성능
→ 대규모 데이터셋, 분산처리 환경, 특정 컬럼만 자주 조회하는 경우에 적합

• JSON (JavaScript Object Notation)
• 장점 : 높은 호환성, 다양한 데이터 타입 지원, 높은 가독성
• 단점 : 중첩 구조와 태그로 인한 큰 파일크기, 느린 파싱 속도, 높은 메모리 사용량, 스키마의 부재
• 성능 : 적당한 읽기/쓰기 속도, 파싱 및 직렬화로 인한 성능 이슈, 낮은 병렬 처리 성능
→ 웹 애플리케이션과 통합할 때, 중첩된 데이터 구조를 다뤄야 할 때 적합

• DAT (일반적인 바이너리 데이터 파일)
• 장점 : 높은 효율성, 빠른 읽기/쓰기 속도, 데이터 타입 유지 가능
• 단점 : 낮은 가독성, 낮은 호환성, 메타데이터 부재
• 성능 : 높은 읽기/쓰기 속도, 높은 병렬 처리 성능
→ 데이터 구조가 단순할 경우 병렬 처리에 적합
 
 
 

10. 클러스터의 리소스 관리를 게을리하지 말자

• 클러스터 자원을 효율적으로 사용하기 위해 적절한 Executor, Core 개수 설정

• 클러스터 관리자 (Yarn, K8s 등)를 통해 자원 사용을 모니터링하고 최적화

보너스