Кафканы орнотуу: 4 кадам

2024 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2024-01-30 10:40

Киришүү:

Apache Kafka-Scala тилинде жазылган Apache Software Foundation тарабынан иштелип чыккан, ачык булактуу масштабдуу жана жогорку ылдамдыктагы билдирүү системасы. Apache Kafka атайын бир кластердин чоң чөйрө үчүн маалыматтардын борбору катары кызмат кылуусуна арналган. Бул ActiveMQ жана RabbitMQ сыяктуу башка билдирүү брокерлеринин системаларына салыштырмалуу бир кыйла жогору. Ал реалдуу убакытта чоң көлөмдөгү маалыматтарды эффективдүү иштете алат. Сиз Кафканы жалгыз Apache серверинде же бөлүштүрүлгөн кластердик чөйрөдө колдоно аласыз.

Өзгөчөлүктөрү:

Кафканын жалпы өзгөчөлүктөрү төмөнкүлөр:

Дискте туруктуу иштөөнү камсыз кылган туруктуу билдирүү.

Секундуна жүз миңдеген билдирүүлөрдү колдогон диск структуралары менен жогорку өткөрүмдүүлүк.

Бөлүштүрүлгөн система оңой эле таразага түшөт.

Көп абоненттерди колдойт жана ийгиликсиздик учурунда керектөөчүлөрдү автоматтык түрдө тең салмактайт.

Бул үйрөткүч Ubuntu 16.04 серверине Apache Kafka орнотуу жана конфигурациялоону көрсөтөт.

Талаптар

Ubuntu 16.04 сервери.

Серверде орнотулган супер колдонуучу артыкчылыгы бар түп тамыры жок колдонуучу эсеби.

1 -кадам: Баштоо жана Java орнотуу

1) Келгиле, Ubuntu 16.04 сервериңиз толугу менен жаңыртылганын текшере баштайлы

Сиз төмөнкү буйруктарды иштетүү менен серверди жаңырта аласыз:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java орнотуу

Төмөнкү буйрук менен компьютериңизде Java орнотулганбы же Javaнын демейки версиясы барбы текшериңиз:-

java -версия

Эгерде сизде java бар, бирок андан төмөн версия болсо да, аны жаңыртууга туура келет.

Сиз Java орното аласыз:-

sudo apt-get install default-jdk

ЖЕ

Oracle JDK 8ди Webupd8 командасынын PPA репозиторийин колдонуп орното аласыз.

Репозиторийди кошуу үчүн төмөнкү буйрукту аткарыңыз:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y орнотуңуз

2 -кадам: Zookeeper орнотуу

Zookeeper деген эмне?

Zookeeper - конфигурация маалыматын сактоо, ат коюу, бөлүштүрүлгөн синхрондоштурууну камсыз кылуу жана топтук кызматтарды көрсөтүү үчүн борборлоштурулган кызмат. Бул кызматтардын баары тигил же бул формада бөлүштүрүлгөн тиркемелер аркылуу колдонулат. Алар ишке ашырылган сайын сөзсүз түрдө мүчүлүштүктөрдү жана жарыш шарттарын оңдоого багытталган көп жумуштар болот. Мындай кызматтарды ишке ашыруунун татаалдыгынан улам, колдонмолор адатта аларды үнөмдөшөт, бул аларды өзгөрүү болгондо морт кылат жана башкаруу кыйын. Туура аткарылган күндө да, бул кызматтарды ар кандай ишке ашыруу тиркемелерди жайгаштырууда башкаруунун татаалдыгына алып келет.

Apache Kafka'ны орнотуудан мурун, сизде зоокепердин болушу жана иштеши керек. ZooKeeper - бул конфигурация маалыматын сактоо, бөлүштүрүлгөн синхрондоштуруу, ат коюу жана топтук кызматтарды көрсөтүү үчүн ачык булак кызматы.

1) Демейки боюнча Zookeeper пакети Ubuntu'нун демейки репозиторийинде жеткиликтүү

Сиз аны төмөнкү буйрукту иштетүү менен орното аласыз:-

sudo apt-get zookeeperd орнотуу

Орнотуу аяктагандан кийин, ал автоматтык түрдө демон катары башталат. Демейки боюнча Zookeeper 2181 портунда иштейт.

Сиз аны төмөнкү буйрукту иштетүү менен текшере аласыз:

netstat -ant | grep: 2181

Чыгуу сизге порт 2181 угулуп жатканын көрсөтүшү керек.

3 -кадам: Kafka Serverди орнотуп, баштаңыз

Эми Java жана ZooKeeper орнотулгандыктан, Кафканы Apache веб -сайтынан жүктөп алуу жана чыгаруу убактысы келди.

1) Кафканы жүктөө үчүн curl же wget колдонсоңуз болот: (Kafka 0.10.1.1 версиясы)

Кафка орнотуусун жүктөө үчүн төмөнкү буйрукту аткарыңыз:-

curl -O

ЖЕ

wget

2) Кафка үчүн каталог түзүңүз

Андан кийин, Кафканы орнотуу үчүн каталог түзүңүз:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Жүктөлүп алынган папканы ачуу

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Колдонуучу атыңызга жараша колдонуучунун атын өзгөртүңүз

4) кафка серверин баштаңыз

Кийинки кадам-Kafka серверин баштоо, аны төмөнкү буйрукту колдонуу менен /opt/kafka/kafka_2.11-0.10.1.1/bin/ каталогунда жайгашкан kafka-server-start.sh скриптин иштетүү менен баштасаңыз болот:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kafka Server жакшы иштеп жаткандыгын текшериңиз

Сизде 9092 портунда иштеп жаткан жана угуп жаткан Кафка сервери бар.

Эми биз угуу портторун текшере алабыз:

- ZooKeeper: 2181

- Кафка: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4 -кадам: Кафка сервериңизди текшериңиз

Эми, Kafka серверинин туура иштеп жаткандыгын текшерүү убактысы келди.

1) Жаңы тема түзүү

Кафканы сыноо үчүн, төмөнкү буйрукту колдонуп, Apache Kafkaда "тестирлөө" деген аталыш менен тема түзүңүз:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic test --zookeeper localhost: 2181-бөлүмдөр 1-репликация-фактор 1

2) Темаңыз ийгиликтүү түзүлгөнүн текшериңиз

Эми, Zookeeperден Apache Kafkaдагы жеткиликтүү темаларды төмөнкү буйрукту аткаруу менен тизмектөөнү сураныңыз:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Сиз жараткан теманы колдонуу менен билдирүү жарыялоо

echo "салам дүйнө" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --topic тестирлөө

4) түзүлгөн тема боюнча билдирүү алуу

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-темалык тестирлөө-башынан

5) Тема боюнча kafka аркылуу файлды жөнөтүү

kafka-console-producer.sh-брокер-тизме localhost: 9092-темалык тестирлөө