saay, hi

부하 분산이 목적인 경우에 브로커만 추가했다고 끝나는 것이 아니라 새롭게 추가된 브로커에도 기존의 파티션들을 할당 해야 함 1. 브로커 부하 분산- 해당 json 포맷에는 분산시킬 대상 토픽을 추가해 작성.작성 후, reassign-partitions-topic.json 으로 저장{"topics": [{"topic":"test01"}], "version":1} 참고){"topics": [{"topic":"test01"}, {"topic":"test02"} ], "version":1}(분산시킬 토픽이 여러개일 경우, 콤마 (,) 구분자를 사용해 토픽 추가) 2. 분산시킬 대상 토픽에 대한 json 파일 생성 후, kafka-reassign-partitions.sh명령어를 이용해 파티션을 분산시킬 브로커 리..

1.주키퍼 구성1) 주키퍼 서버 수량반드시 홀수로 구성주키퍼 3대로 구성하는 것이 적합하나, 핵심 중앙 데이터 파이프라인 카프카를 이용 중이고 카프카의 사용량도 높은 경우라면 안정성을 확보할 수 있도록 주키퍼 5대 구성하는 것을 권장카프카의 사용량이 낮더라도 회사에서 카프카가 매우 중요한 용도로 이용되는 경우에도 주키퍼는 5대로 구성해 안정성을 높이는 것을 권장2) 주키퍼 하드웨어메모리 크기 : 4~8GB디스크 : 240G or 480G SSD 사용 권장 ( 주키퍼는 트랜잭션이나 스냅셧 로그들을 로컬 디스크에 저장함)힙 메모리 : 1~2GB(나머지는 운영체제 영역 등에서 사용됨)네트워크 카드 : 1G 이더넷 카드 ( 참고 : 주키퍼와 카프카 간에는 메타데이터정도만 주고받음 )3) 주키퍼 배치각기 다른 랙..

구성1대의 서버에 테스트 용도로 클러스터 구성 ( 각 node id, 사용하는 디렉터리, port 번호 안겹게 진행)구조 1. Zookeepr cluster 구축참고) 분산 서버각 서버마다 zookeeper.properteis 파일을 server host만 변경하여 사용 / 나머진 동일단일 서버zookeeper.properties 여러 개 생성(copy)하여 client port, dataDir 서로 다르게 변경 (host는 동일)1) zookeeper config 수정$>vi zookeeper.properties   2) Node id 설정-dataDir 디렉토리 아래의 myid라는 파일을 만든 후,  instance id를 명시해 주어야 함-myid설정값은  zookeeper node끼리 구분하는 값..