DataX 플러그인 KafkaWriter

/알리바바/datax/blob/master/dataxplugindev.md

Datax 플러그인 개발 Kafka writer

/아티클/259830

Datax 2 차 개발 플러그인 상세 프로세스 (kafkaReader 사례)

/mjlfto/datax/tree/master/kafkawriter

이것은 datax 에 Kafka 를 추가하는 내용과 매개변수 설명입니다.

매개 변수 설명

BootstrapServers

설명: Kafka 서비스 주소, 형식: host 1:port, host2:port 예:10.1.20

필수 사항: 예

기본값: 없음

주제

설명: Kafka 테마 이름, 현재 한 번에 하나의 테마를 쓸 수 있습니다.

필수 사항: 예

기본값: 없음

문자 확인 (acknowledgementcharacter)

설명: 메시지 확인 메커니즘; 기본값은 0 입니다.

Acks = 0: 0 으로 설정하면 생산자는 카프카의 응답을 기다리지 않습니다.

Ack = 1: 이 구성은 Kafka 가 이 메시지를 로컬 로그 파일에 쓰지만 클러스터에 있는 다른 시스템의 성공적인 응답을 기다리지 않는다는 것을 의미합니다.

Acks = all: 이 구성은 지도자가 모든 추종자가 동기화될 때까지 기다릴 것임을 의미합니다. 이렇게 하면 Kafka 클러스터의 모든 시스템이 중단되지 않는 한 메시지가 손실되지 않습니다. 이것은 가장 강력한 가용성 보증이다.

필수: 아니오.

기본값: 0

배치 크기

설명: 동일한 분할 영역에 여러 메시지를 보내야 하는 경우 생산자는 네트워크 요청을 병합하려고 시도합니다. 이것은 고객과 생산자의 효율성을 높일 것이다.

기본값: 16384

필수: 아니오.

재시도 횟수

설명: 0 보다 큰 값으로 구성하면 클라이언트는 전송에 실패할 때 메시지를 다시 보냅니다.

기본값: 0

필수: 아니오.

기본값: 0

필드 구분 기호

설명: wirteType 이 텍스트일 때 쓰는 필드 구분 기호입니다.

기본값:, (쉼표)

필수: 아니오.

기본값:,

키 직렬화기

설명: 키 시퀀스, 기본값은 org.apache.kafka.common.serialization.stringserializer 입니다

필수: 아니오.

기본값: org.apache.kafka.common.serialization.stringserializer

값 직렬화기

설명: 키 시퀀스, 기본값은 org.apache.kafka.common.serialization.stringserializer 입니다

필수: 아니오.

NoTopicCreate

설명: 항목이 없을 때 항목을 만들지 여부입니다. 기본값은 false 입니다.

Required: haveKerberos 가 true 인 경우 필요합니다.

기본값: false

주제 구분

설명: 주제 분할 수

필수: 아니오.

기본값: 1

주제 복사 계수

설명: 항목 복제 개수

필수: 아니오.

기본값: 1

WriteType

설명: Kafka 에 기록된 데이터 형식, 선택적 텍스트, JSON.

Text: fieldDelimiter 를 사용하여 모든 필드 값을 키로 결합하고, 값이 같고, Kafka 에 씁니다.

JSON:key 의 형식은 text 와 마찬가지로 모든 필드 값은 fieldDelimiter 를 사용하여 key 로 결합됩니다. 값은 다음과 같이 datx 내부 열 형식입니다.

RawData 는 데이터 값입니다. 객체에 이러한 필드가 없으면 이 값은 null 입니다.