AWSте Magicbitтен маалыматтарды визуалдаштыруу: 5 кадам

2024 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2024-01-30 10:36

Magicbitке туташкан сенсорлордон чогултулган маалыматтар реалдуу убакытта графикалык түрдө чагылдыруу үчүн MQTT аркылуу AWS IOT ядросуна жарыяланат. Биз ESP32ге негизделген бул долбоордун өнүгүү тактасы катары magicbitти колдонуп жатабыз. Ошондуктан бул долбоордо каалаган ESP32 өнүктүрүү тактасы колдонулушу мүмкүн.

Берилиштер:

Magicbit

1 -кадам: Окуя

Бул долбоор Magicbit түзмөгүңүздү AWS Cloud менен MQTT аркылуу туташтыруу жөнүндө. MQTT аркылуу жөнөтүлгөн маалыматтар AWS кызматтарынын жардамы менен булутта анализделет жана элестетилет. Андыктан баштайлы

Биринчиден, AWS консолуна кирип, киришиңиз керек. Окуу максатында AWS сунуштаган акысыз деңгээлдеги опцияны колдоно аласыз. Бул долбоор үчүн жетиштүү болот.

Жөнөкөй кылуу үчүн мен долбоорду эки бөлүмгө бөлөм.

Бул биздин долбоордун биринчи этабы болмокчу. Биринчи этаптын аягында маалыматтар S3 чакаларында сакталат.

Биринчи бөлүмдө колдонула турган AWS кызматтары,

• Kinesis Firehose
• AWS клей
• AWS S3

Алгач AWS Kinesis кызматына өтүңүз.

Төмөндө көрсөтүлгөндөй Kinesis Data Firehose тандап, чыкылдатыңыз

Андан кийин сиз Firehose кызматын түзүүнүн 1 -кадамына багытталасыз. Жеткирүү агымынын атын киргизиңиз жана Direct Put же Башка булактарды тандаңыз. Кийинкини басыңыз.

2 -кадам терезесинде бардыгын демейки катары калтырып, кийинки баскычты басыңыз. AWS Glue кызматын түзгөндөн кийин, биз бул кадамды түзөтүү үчүн кайра келебиз.

3 -кадамда, эгер сиз аны мурда жараткан болсоңуз, S3 чакасын тандаңыз. Болбосо түзүү жана чака түзүү чыкылдатыңыз. S3 префикси бөлүмүндө dest/ колдонуңуз жана катанын префиксинде ката/ жазыңыз. Жогорудагы экөөнө каалаган ысымды киргизсеңиз болот. Бирок жеңилдик үчүн биз жалпы ат менен уланта беребиз. Сиз тандаган чаканын ичинде dest аттуу папканы түзүүнү унутпаңыз. Кийинкини басыңыз.

4 -кадамда реалдуу убакытта маалыматтарды берүү үчүн минималдуу буфер өлчөмүн жана буфердик интервалды тандаңыз. Уруксат бөлүмүндө IAM roleKinesisFirehoseServiceRole түзүү же жаңыртууну тандаңыз. Баарын демейки бойдон калтырыңыз. Кийинкини басыңыз.

Кийинки бөлүмдө сиз киргизген өзгөртүүлөрдү карап чыгуу көрсөтүлөт. OK басыңыз. Андан кийин сизде Kinesis Firehose иштеп жатат.

Эгерде сиз Firehose кызматын ийгиликтүү түзсөңүз, анда сиз ага окшош нерсени аласыз.

2 -кадам: Firehose жана S3 чакасын сыноо

Firehose жана S3 чакасы туура иштеп жатканын текшерүү үчүн, консолдон IOT ядросун тандаңыз. Сиз ушундай баракчага багытталасыз. Эрежени тандап, эреже түзүңүз.

AWS IOT эрежеси деген эмне?

Бул MQTTден алынган кандайдыр бир маалыматты белгилүү бир кызматка жөнөтүү үчүн колдонулат. Бул мисалда биз Kinesis Firehoseго өтөбүз.

Эрежеге ат тандаңыз. Эрежени жана Сурамдын билдирүүсүн ошол бойдон калтырыңыз. Бул бизге iot/theme темасына жарыяланган нерсенин баары ушул эреже аркылуу Firehose кинесисине жөнөтүлөрүн билдирет.

Бир же бир нече аракеттерди коюу бөлүмүнүн астына Аракет кошууну чыкылдатыңыз. Amazon Kinesis Firehose Streamге билдирүү жөнөтүүнү тандаңыз. Конфигурацияны тандаңыз. Андан кийин, мурда түзүлгөн от түтүгүнүн аталышын тандаңыз. Андан кийин "Роль түзүү" баскычын чыкылдатып, роль жаратыңыз. Эми сиз AWSте ийгиликтүү роль жараттыңыз.

Сиз жарыялаган ар бир билдирүү Kinesis Firehose аркылуу S3 чакаларына жөнөтүлөт.

Firehose буфер толтурулганда же буфердик интервалга жеткенде маалыматтарды жөнөтөрүн эстен чыгарбаңыз. Минималдуу буфердик интервал 60 сек.

Эми биз долбоордун экинчи бөлүгүнө өтө алабыз. Бул биздин dataflow диаграммабыз болот.

3 -кадам: AWS клейди конфигурациялоо

Эмне үчүн бизге AWS Glue жана AWS Athena керек?

S3 чакаларында сакталган маалыматтарды AWS Quicksightке киргизүү катары түз колдонууга болбойт. Алгач биз маалыматтарды таблица түрүндө иреттешибиз керек. Бул үчүн биз жогорудагы эки кызматты колдонобуз.

AWS клейине өтүңүз. Куралдар тилкесиндеги Crawler'ди тандаңыз. Андан кийин Crawler кошууну тандаңыз.

Биринчи кадамда жөрмөлөгүчтүн атын киргизиңиз. Кийинкини басыңыз. Кийинки кадамда аны демейки катары калтырыңыз. Үчүнчү кадамда тандаган S3 чакаңыздын жолун киргизиңиз. Кийинки терезени демейки катары калтырыңыз. Бешинчи терезеде IAMдин каалаган ролун киргизиңиз. Кийинки кадамда кызматты иштетүү жыштыгын тандаңыз.

Ылдый түшүүчү кутудан бажы тандап, эң аз убакытты тандап алуу максатка ылайыктуу.

Кийинки кадамда Маалыматтар базасын кошууну, андан кийин кийинкиди басыңыз. Бүтүрүү баскычын басыңыз.

Эми биз өзүбүздүн Kinesis Firehoseту AWS Glue менен бириктиришибиз керек.

Биз түзгөн AWS Kinesis Firehoseго барып, түзөтүүнү чыкылдатыңыз.

Жазуу форматын Convert бөлүмүнө ылдый жылдырып, иштетилгенди тандаңыз.

Чыгаруу форматын Apache Parquet катары тандаңыз. Калган деталдар үчүн сиз түзгөн Glue маалымат базасынын чоо -жайын толтуруңуз. Маалыматтар базасында таблица түзүлүп, бул бөлүмгө аты кошулушу керек. Сактоо дегенди басыңыз.

4 -кадам: AWS Athena конфигурациясы

Маалымат базасын жана сиз түзгөн маалымат таблицасын тандаңыз. Суроо бөлүмүндө бул кодду кошуу керек.

стол-аты сиз түзгөн клей столунун чыныгы атына алмаштырылышы керек.

Чуркоо суротун чыкылдатыңыз. Эгерде ал иштесе, AWS S3 чакасында сакталган маалыматтар маалымат столу катары көрсөтүлүшү керек.

Эми биз алган маалыматтарды элестетүүгө даярбыз.

5 -кадам: QuickSightти конфигурациялоо

AWS Quicksightке өтүңүз

Жогорку оң бурчта Жаңы Анализди чыкылдатыңыз, андан кийин Жаңы Маалыматтар Топтомун чыкылдатыңыз.

Тизмеден Афинаны тандаңыз. Калкып чыккан картага каалаган маалымат булагынын атын киргизиңиз.

Ылдый түшүүчү кутудан жана тиешелүү столдон Glue маалымат базасын тандаңыз. Бул сизди бул баракчага алып барат.

Талаа тизмесинен каалаган талааны сүйрөп таштаңыз жана каалаган визуалдык түрдү тандаңыз.

Эми сиз AWS кызматтарын колдонуу менен MagicBitтен жөнөтүлгөн бардык маалыматтарды элестете аласыз !!!

Алардагы маалыматтарды элестетүү үчүн тиешелүү S3 чакалары үчүн тез иштөөгө мүмкүнчүлүк берүүнү унутпаңыз.