DevOps4 [Kafka] Docker Compose를 이용하여 Kafka 환경 구성하기 [Kafka] Apache Kafka, Zookeeper 개념Apache Kafka는 대용량의 데이터를 빠르게 처리하고 실시간 스트리밍을 지원하는 pub/sub 모델의 분산 메시지 브로커로 주로 로그 처리, 이벤트 기반 아키텍처, 데이터 스트리밍 등에 활용된다.Kafka는hbb-devlog.tistory.com 이번에는 Docker-Compose를 이용하여 간단하게 Kafka 환경을 구성해보도록 하겠다. docker-compose-local.yml 파일 작성version: "3.8"services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEE.. 2025. 3. 8. [Kafka] Apache Kafka, Zookeeper 개념 Apache Kafka는 대용량의 데이터를 빠르게 처리하고 실시간 스트리밍을 지원하는 pub/sub 모델의 분산 메시지 브로커로 주로 로그 처리, 이벤트 기반 아키텍처, 데이터 스트리밍 등에 활용된다.Kafka는 분산 환경에서 안정적으로 운영되기 위해 Zookeeper를 사용하여 클러스터를 관리한다. Zookeeper는 Kafka의 메타데이터 저장, 브로커의 상태 감시, 리더 선출과 같은 중요한 역할을 수행한다. Kafka의 주요 구성 요소Broker: Kafka 서버로, Producer로부터 메시지를 받아 저장하고, Consumer에게 전달하는 역할을 한다.Topic & Partition:Topic: 메시지를 논리적으로 분류하는 단위.Partition: 토픽을 분할하여 저장하는 단위로 토픽은 하나 이상.. 2025. 3. 6. Docker MySQL + Spring boot 연동 MySQL 이미지를 설치docker pull mysql설치가 잘 되었는지 확인docker images다운받은 이미지로 MySQL 컨테이너 실행docker run --name mysql-container -e MYSQL_ROOT_PASSWORD= -d -p 3306:3306 mysql:latestdocker run: Docker에서 새로운 컨테이너를 생성하고 실행하는 명령어--name mysql-container: 생성할 컨테이너의 이름을 mysql-container로 지정-e MYSQL_ROOT_PASSWORD=: 환경 변수를 설정.여기서 MYSQL_ROOT_PASSWORD는 MySQL의 루트 사용자 비밀번호를 설정-d: 컨테이너를 백그라운드에서 실행하도록 지정. 즉, 터미널을 차지하지 않고 실행-p 3.. 2024. 12. 30. [Docker] Docker, Docker-Compose 개념 Docker는 컨테이너 기반의 오픈소스 가상화 플랫폼으로, 애플리케이션을 경량의 독립된 환경에서 실행할 수 있도록 해준다. 컨테이너는 운영체제(OS) 커널을 공유하면서도 애플리케이션과 그 실행에 필요한 모든 종속성을 포함하는 격리된 공간을 제공하여, 개발 환경과 운영 환경 간의 일관성을 보장한다. 이를 통해 소프트웨어의 배포, 관리, 확장을 용이하게 하고, 시스템 자원을 효율적으로 활용할 수 있다. 또한, 컨테이너는 가상 머신(VM)과 달리 전체 OS를 포함하지 않고 필요한 라이브러리 및 실행 파일만 패키징하여 가볍고 빠른 실행이 가능하다. Docker는 이러한 컨테이너 기술을 손쉽게 활용할 수 있도록 제공하는 도구로, 개발자가 더 빠르고 효율적으로 애플리케이션을 빌드, 테스트 및 배포할 수 있도록 돕는.. 2024. 12. 23. 이전 1 다음
