saay, hi

부하 분산이 목적인 경우에 브로커만 추가했다고 끝나는 것이 아니라 새롭게 추가된 브로커에도 기존의 파티션들을 할당 해야 함 (클러스터링 테스트 사전작업1)3node 환경에서 4partition 1replication factor 토픽을 만들게 될 경우 참고) partition이 하나 더 생기는 broker는 랜덤(클러스터링 테스트 사전작업2 - 브로커 추가 및 백업)4node 환경으로 만든 다음, topic2를 추가했을 때 상황 - 3node상태에서 만들었던 topic의 partition 위치는 변함X (클러스터링 테스트1)1. 브로커 부하 분산을 위해 partitions을 고르게 분산- 해당 json 포맷에는 분산시킬 대상 토픽을 추가해 작성.작성 후, reassign-partitions-topic.j..

구분연관파일test 항목설명사전 준비 사항 카프카 확장 방법검증 일자clustering 테스트server.properties, zookeeper.properties카프카 증설 후, producer / consumer 데이터 송수신 확인node하나 더 증설 시 정상적으로 메시지를 받는지 여부 확인한다.partition의 값이 4인 topic 2개 07.04clustering 테스트server.properties, zookeeper.properties카프카 증설 후, 기존 partition 확장 테스트3 node에서 4node로 증설 시, 기존 topic이 균등하게 자동 분산되는지 확인 후, 되지 않을 경우 수동으로 파일 생성하여 적용되는지 확인한다partition의 값이 4인 topic 2개, partit..

offsets.topic.replication.factor :오프셋 토픽(__consumer_offsets)의 replication factor를 지정. 클러스터 크기가 이 값보다 작으면 internal topic 생성에 실패함.( __consumer_offsets : 각 topic에 대한 커밋된 오프셋에 대한 정보를 저장하는 데 사용된다. )클러스터 크기가 이 복제 요소 요구 사항을 충족할 때까지 내부 topic 생성이 실패함[ test 방법 ] offsets.topic.replication.factor=11) kafka 중단 -> zookeeper 중단2) broker1,2,3 kafka server.properties 파일 내 offsets.topic.replication.factor 값 1로 수정..

Test 목표1)    Partition 증량 시 consumer1,2가 중복으로 partition을 바라보는지 확인2)    consumer가 중단될 경우 partition의 consumer.id가 바뀌는지 확인 (=소유권 교체되는지)3)    소유권 교체 시, 끊긴 partition의 데이터는 언제 취득하는지 확인Test 시나리오1)    기존 topic partition + 1 증량2)    producer에서 topic 생성3)    topic 이 partition 개수만큼 분할됐는지 확인4)    consumer1,2기동 후 각각 consumer group의 partition offset확인5)    partition-0,1을 consumer끼리 중복 데이터 취득하는지 확인6)    consum..

TEST 목적개별 consumer의 데이터 취득 확인 및 중복 취득 확인TEST 시나리오 1)    Producer : 10만 개 topic 전송2)    Consumer : consumer1 실행 후 topic 모두 받지 않고, 중단 후 consumer 2 실행3)    Consumer group 조회 : consumer1 실행 후, 중단 시, consumer group의 lag 및 consumer id 확인, Conusmer2 실행 시작 전, 시작 후 consumer group의 lag 및 consumer id 확인* 정확도를 높이기 위해 같은 test를 총 6번 진행하였으며, test5부턴 consumer1,2에게 개별 instance.id ( consumer.id와 쓰임이 유사하며 실제 group..

Test 목표같은 consumer group 내에 consumer가 topic을 중복 취득하는지 파악Test 시나리오1) consumer3개에게 topic 동시 전송2) consumer3개에게 topic 연속 전송3) consumer1개 데이터 취득하던 와중 다른 consumer가 데이터 가져가는지 확인Test 구성[ test 방법 ]1.producer AP 를 통해 topic 전송 ( 명령어 :  java -cp ./"kafka_2.13-3.6.0/libs/*":. {producer AP name} {topic name} ) [kafka@localhost kafka]$ java -cp ./"kafka_2.13-3.6.0/libs/*":. SimpleProducer2 basic-consumerlog4j:..

목적 -   동일 consumer group에서 replication factor 1개와 3개 비교시나리오1.    consumer AP script 작성 후 consumer group 및 topic 생성→ testConsumer.java 작성2.  동일 consumer group 내에서 replication factor 변화에 따라 어떤 차이점이 있는지 확인→ replication factor 관련된 java option이 없어서 일단 topic 생성 후, 명령어로 replication factor 3개로 증량→ 각 broker 마다 group list 초단위로 조회하여 확인→ topic 생성 뒤, log dir에 변화 있는지 확인( replication factor 증량하게 될 경우 topic nam..

목적3개의 node로 구성된 cluster 의 replication factor값이 1일 때와, 3일 때의 차이점 확인( 3 node cluster 구성은 replication factor 값이 3을 권장 )시나리오1.     Replication factor 값이 1인 것과 3인 topic생성2.     생성 완료 후 각 topic 별로 broker id 0,1,2 log 조회3.     구성Dir  위치Broker id      Broker의 topic 위치0                   /tmp/kafka-logs1                   /tmp/kafka-logs22                   /tmp/kafka-logs3[ test 방법 ]1.replication factor..

목적3개의 node로 구성된 cluster 의 replication factor값이 1에서 3으로 증량하게 될 경우, 기존 저장된 데이터 유지 혹은 유실 여부 확인시나리오1. Replication factor 값이 1인 것과 3인 topic생성2. 생성 완료 후 각 topic 별로 broker id 0,1,2 log 조회3. replication factor 값이 1 인 경우 log 열어서 조회4. testProducer AP 수정 (기존과 다른 data를 전송하여 구별하기 위해 )5. replication factor 3 증량 (test.json 스크립트 작성하여 적용)6. 증량 후 log 확인구성Dir  위치 [ test 방법 ]1. topic이 저장된 log dir로 찾아가 조회[kafka@loca..

[ test 방법 ]  (ex) partition 1 - replication factor 1 일 경우$>bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic basic-consumer[ partition 증량 방법 ]1.json 파일 작성( json 파일을 통해 leader 변경 및 replication factor +1 증량 )2.kafka cli 명령어를 통해 json 파일 topic에 적용$>bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partit..