2) 3.7.0 ver 설치가이드(240513)

[ 설치 구조 ]

depth1	depth2	depth3	depth4	내용
/	kafka	kafka_2.13-3.7.0		kafka engine
		app	configuration	kafka 기동 properties
			script	kafka control script
			src	kafka 원본 소스 tgz
	svc_log	kaf_log		kafka/kafka server log
		zoo_log		kafka/zookeeper server log
	zk_data	kaf_data		kafka topic/consume offset data
		zoo_data	snapshot	zookeeper snapshot data
			translog	zookeeper transaction data

 

---

 

[ JDK 설치 ]

 - 사용할 JDK 설치

$> yum install java-11-openjdk-devel.x86_64 $>java –version (자바 버전 확인)

 

[ JDK 설치 - aws 버전 ]

 - 사용할 JDK 설치

$>yum install -y java-11-amazon-corretto.x86_64 $>java -version (자바 버전 확인)

 

---

 

[ 유저 생성 ]  (root user 로 수행)

- kafka 유저 생성

$> useradd kafka $> passwd kafka

[ directory 생성 ]

• kafka directory 생성 및 권한 변경

$> mkdir /kafka $> chown –R kafka:kafka /kafka

• kafka log 관련 directory 생성 및 권한 변경

$>mkdir -p /svc_log/{kaf_log,zoo_log} $>chown -R kafka:kafka /svc_log

 

• kafka data 관련 directory 생성 및 권한 변경

$>mkdir /zoo_data $>mkdir /kaf_data $>chown -R kafka:kafka /zoo_data $>chown -R kafka:kafka /kaf_data

• kafka app directory 생성 및 권한 변경

$>su - kafka             #kafka 유저로 전환 $>cd  /kafka $>mkdir –p app/{configuration,script,src}

 

---

 

[ 스크립트 작성 ]

• kafka & zookeeper 기동 및 중단 스크립트 작성

$>cd /kafka/app/script $>vi start_zookeeper.sh   $>vi start_kafka.sh   $>vi stop_zookeeper.sh   $>vi stop_kafka.sh

• kafka 기동 확인 스크립트 작성

$>vi check_status.sh

[ 설치 파일 다운로드 ] 

 - kafka 유저로 진행
 - kafka 압축 파일을 /kafka 디렉토리 하위에 다운로드

$> tar xvzf kafka_2.13-3.7.0.tgz

 

---

 

[ kafka 복사 및 백업 ]

- kafka 유저로 수행
- 압축 해제

$>cp -r /kafka/kafka.2.13-3.7.0/config/zookeeper.properties /kafka/app/configuration/ zookeeper.properties $>cp -r /kafka/kafka.2.13-3.7.0/config/server.properties /kafka/app/configuration/server.properties $>cd /kafka/app/configuration $>cp -r zookeeper.properties zookeeper.properties_YYYYMMDD_original   # 백업 파일 저장 $>cp -r server.properties server.properties_YYYYMMDD_original          # 백업 파일 저장 $>vi zookeeper.properties       #zookeeper 설정파일 dataDir=/zoo_data $>vi server.properties       #kafka broker 설정파일 log.dirs=/kaf_data

 

 

---

 

[ kafka 설정 변경 ]

• 내부 서버 이용할 경우

$>cd /kafka/app/configuration $>vi server.properties # 34줄 주석 해제 Listeners=PLAINTEXT://192.168.101.1:9092       # broker가 바인딩 될 사용자 host로 변경

• 외부 서버 이용할 경우
  - 포트 포워딩 규칙 port번호 9092 추가
  - advertised.listener에 주석 풀 지 않을 경우, listener 설정 값으로 작동함

$>cd /kafka/kafka_2.13-3.7.0/config $>cp -rp server.properties server.properties_YYYYMMDD_original        # 백업 파일 저장 $>vi server.properties

 

---

 

[ zookeeper & kafka 기동 ]  

• zookeeper 프로세스 기동

- zookeeper 먼저 기동 후, kafka 기동

$>cd /kafka/app $> ./start_zookeeper.sh $>ps -ef | grep zookeeper.properties

 

• kafka 프로세스 기동

$>cd /kafka/app $>./start_kafka.sh $>ps -ef | grep server.properties

• 기동 확인

$>cd /kafka/app $>./check_status.sh