[면접 합격자료] 아이티센그룹 개발 빅데이터, AI, 블록체인 등 합격 문항 기출 최종합격

1. 빅데이터 프로젝트를 진행할 때 주로 사용하는 데이터 처리 도구와 기술은 무엇인가요

빅데이터 프로젝트에서는 주로 Hadoop, Spark, Kafka 같은 분산 처리 도구를 사용합니다. Hadoop은 대용량 데이터를 저장하고 분석하는데 적합하며, HDFS를 활용해 페타바이트급 데이터도 효율적으로 저장할 수 있습니다. Spark는 인메모리 처리와 빠른 데이터 분석에 강점이 있어, 실시간 분석 등에서 폭넓게 활용됩니다. 예를 들어, 고객 행동 분석 프로젝트에서 수집된 10억 건의 로그 데이터를 Spark를 통해 30분 만에 처리하는 성과를 냈으며, Kafka는 실시간 데이터 스트리밍 및 분산 메시징에 활용되어 센서 데이터 수집 및 처리 시간을 50% 단축했습니다. 또한, SQL-on-Hadoop 기술인 Hive와 Presto를 통해 비전문가도 쉽게 데이터 쿼리 및 분석이 가능하도록 지원하며, 데이터 파이프라인 자동화를 위해 Airflow도 활용됩니다. 빅데이터 분석에 있어서 이러한 도구들은 대규모 데이터를 신속하고 안정적으로 처리하며, 데이터 기반의 인사이트 도출과 의사결정 지원에 큰 역할을 합니다.

2. AI 모델을 개발할 때 데이터를 준비하는 과정에서 고려해야 할 주요 사항은 …