saay, hi

부하 분산이 목적인 경우에 브로커만 추가했다고 끝나는 것이 아니라 새롭게 추가된 브로커에도 기존의 파티션들을 할당 해야 함 (클러스터링 테스트 사전작업1)3node 환경에서 4partition 1replication factor 토픽을 만들게 될 경우 참고) partition이 하나 더 생기는 broker는 랜덤(클러스터링 테스트 사전작업2 - 브로커 추가 및 백업)4node 환경으로 만든 다음, topic2를 추가했을 때 상황 - 3node상태에서 만들었던 topic의 partition 위치는 변함X (클러스터링 테스트1)1. 브로커 부하 분산을 위해 partitions을 고르게 분산- 해당 json 포맷에는 분산시킬 대상 토픽을 추가해 작성.작성 후, reassign-partitions-topic.j..

구분연관파일test 항목설명사전 준비 사항 카프카 확장 방법검증 일자clustering 테스트server.properties, zookeeper.properties카프카 증설 후, producer / consumer 데이터 송수신 확인node하나 더 증설 시 정상적으로 메시지를 받는지 여부 확인한다.partition의 값이 4인 topic 2개 07.04clustering 테스트server.properties, zookeeper.properties카프카 증설 후, 기존 partition 확장 테스트3 node에서 4node로 증설 시, 기존 topic이 균등하게 자동 분산되는지 확인 후, 되지 않을 경우 수동으로 파일 생성하여 적용되는지 확인한다partition의 값이 4인 topic 2개, partit..

목적 -   동일 consumer group에서 replication factor 1개와 3개 비교시나리오1.    consumer AP script 작성 후 consumer group 및 topic 생성→ testConsumer.java 작성2.  동일 consumer group 내에서 replication factor 변화에 따라 어떤 차이점이 있는지 확인→ replication factor 관련된 java option이 없어서 일단 topic 생성 후, 명령어로 replication factor 3개로 증량→ 각 broker 마다 group list 초단위로 조회하여 확인→ topic 생성 뒤, log dir에 변화 있는지 확인( replication factor 증량하게 될 경우 topic nam..

목적3개의 node로 구성된 cluster 의 replication factor값이 1일 때와, 3일 때의 차이점 확인( 3 node cluster 구성은 replication factor 값이 3을 권장 )시나리오1.     Replication factor 값이 1인 것과 3인 topic생성2.     생성 완료 후 각 topic 별로 broker id 0,1,2 log 조회3.     구성Dir  위치Broker id      Broker의 topic 위치0                   /tmp/kafka-logs1                   /tmp/kafka-logs22                   /tmp/kafka-logs3[ test 방법 ]1.replication factor..

목적3개의 node로 구성된 cluster 의 replication factor값이 1에서 3으로 증량하게 될 경우, 기존 저장된 데이터 유지 혹은 유실 여부 확인시나리오1. Replication factor 값이 1인 것과 3인 topic생성2. 생성 완료 후 각 topic 별로 broker id 0,1,2 log 조회3. replication factor 값이 1 인 경우 log 열어서 조회4. testProducer AP 수정 (기존과 다른 data를 전송하여 구별하기 위해 )5. replication factor 3 증량 (test.json 스크립트 작성하여 적용)6. 증량 후 log 확인구성Dir  위치 [ test 방법 ]1. topic이 저장된 log dir로 찾아가 조회[kafka@loca..

[ test 방법 ]  (ex) partition 1 - replication factor 1 일 경우$>bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic basic-consumer[ partition 증량 방법 ]1.json 파일 작성( json 파일을 통해 leader 변경 및 replication factor +1 증량 )2.kafka cli 명령어를 통해 json 파일 topic에 적용$>bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partit..