본문/내용
1. 본인의 빅데이터 관련 경험과 기술 스택에 대해 구체적으로 설명해 주세요.
데이터 분석과 엔지니어링 분야에 깊은 관심을 가지고 다양한 프로젝트와 경험을 쌓아왔습니다. 처음 데이터 관련 업무를 시작할 때는 SQL을 활용한 데이터 수집과 정제 작업에 매력을 느꼈으며, 이후 여러 데이터베이스 관리 시스템을 다루면서 효율적인 데이터 추출 및 가공 기술을 습득하였습니다. 특히, 관계형 데이터베이스인 MySQL과 PostgreSQL을 이용한 데이터 설계와 최적화 작업을 수행하였으며, 복잡한 쿼리 작성과 성능 개선을 통해 실무에 바로 적용 가능한 역량을 갖추었습니다. 또한, 대용량 데이터를 효율적으로 처리하기 위해 NoSQL 데이터베이스인 MongoDB와 Cassandra도 학습하여 비정형 데이터 처리 능력을 갖추었습니다. 빅데이터 생태계에 대해 깊이 이해하기 위해 하둡과 스파크를 본격적으로 학습하고 프로젝트에 적용하였습니다. 하둡의 분산 파일 시스템과 맵리듀스 프로그래밍 모델을 활용하여 대규모 로그 데이터를 처리하는 업무를 수행하였으며, 이를 통해 작업 자동화와 처리 속도 향상에 기여하였습니다. 이후, 스파크의 인메모리 처리 능력에 매력을 느껴 …