Сүйлөө үчүн жаңсоо/Текстти мээлейге айландыруу: 5 кадам

2025 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2025-01-23 14:51

Бул долбоорду ишке ашыруунун идеясы/түрткүсү сүйлөө аркылуу байланышта кыйынчылыкка туш болгон адамдарга жардам берүү жана кол жаңсоолорунун жардамы менен баарлашуу же америкалык кол тамга (ASL) деп аталган. Бул долбоор бул адамдарга жаңдоо тилин түшүнө албаган башка адамдар менен кызматташуу чөйрөсүндө иштөө мүмкүнчүлүгүн берүү үчүн бир кадам болушу мүмкүн. Ошондой эле, бул долбоор аларга чыныгы адам котормочуну колдонбостон эл алдында сүйлөөгө мүмкүнчүлүк берет. Башында мен A, B, I ж.б алфавит сыяктуу оңой жаңсоолорду гана аныктоого аракет кылып жаттым, ошондой эле "Салам", "Кутман таң" ж.

1 -кадам: Райондук Ассамблея

2 -кадам: Долбоордун чоо -жайы

Бул долбоорго колкаптын ичине салынган 4 флекс сенсорлору бар кие турган мээлей кирет - ар бири кичинекей, ортоңку, сөөмөй жана бармак үчүн. Flex сенсор Arduino Uno R3 боюнча аналогдук кирүү казыктарынын болушуна байланыштуу чектөөлөрдөн улам жана жалпысынан манжа менен жаңдоо тилдеринде көрсөтүлбөгөндүктөн, Finger шакеги үчүн колдонулган эмес. Колдун багытын өлчөө үчүн алакандын артына жабышкан MMA8452Q акселерометр да колдонулат. Бул сенсорлордун кириши анализделип, жаңсоону сезүү үчүн колдонулат. Жаңсоо сезилгенден кийин, тиешелүү символ/билдирүү өзгөрмөгө сакталат. Бул белгилер жана билдирүүлөр сүйлөмдүн аяктаганын көрсөтүүчү алдын ала белгиленген жаңсоо жасалганга чейин бириктириле берет. Бул атайын жаңсоолор аныкталгандан кийин, сакталган сүйлөм сабы Arduino аркылуу USB кабели аркылуу Raspberry Piге жөнөтүлөт. Raspberry Pi андан кийин Полли аттуу Amazon Булут Кызматына текст форматында алынган сүйлөмдү сүйлөө форматына которуу үчүн жөнөтөт жана андан кийин AUX кабели аркылуу Raspberry Pi менен байланышкан спикерде алынган сөздү агылтат.

Бул долбоор түшүнүктүн далили жана башка көптөгөн жаңсоолорду жана кол кыймылдарын аныктоо үчүн жакшыраак жабдуулары жана пландаштырылышы менен жакшыраак калибрленген. Учурда, бул долбоордо чектелген функционалдуулук программаланган, мисалы, жаңсоолорду аныктоо жана тексттен сөзгө чыгаруу.

3 -кадам: Код

4 -кадам: кадамдар

1. Ийкемдүү сенсорлорду жана акселерометрди MMA8452Q Arduinoго туташтырылган схемага ылайык туташтырыңыз.

2. Final_Project.ino программасын (Arduino_code.zip файлында табылган) Arduinoго төгүңүз.

3. Ардуинону Raspberry Pi менен USB кабели аркылуу туташтырыңыз. (Кабелдин түрү A/B).

4. Raspberry Pi'ди күйгүзүңүз, Raspberry_pi_code.zip файлын Raspberry Pi'ге көчүрүңүз жана аны бөлүп алыңыз. Динамикти Raspberry Pi менен туташтырыңыз.

5. AWS каттоо эсебинин грамоталарын, башкача айтканда aws_access_key_id, aws_secret_access_key жана aws_session_token'ди ~/.aws/credentials файлына көчүрүңүз. Бул кадам AWS булуту менен байланышуу жана AWS кызматтарын колдонуу үчүн талап кылынат.

6. 4 -кадамда чыгарылган папкадан табылган seria_test.py программасын иштетиңиз.

7. Эми жаңсоолорду сүйлөм түзүп, анан атайын кыймыл жасаңыз (Манжаларыңызды жана алаканыңызды түз жана алаканыңызды сизге каратып бир сызыкта кармаңыз, анан билегиңизди ылдый каратып, алаканыңызды буруңуз) сизге каратылган жана манжаларыңыздын учу бутуңузду ылдый каратып турат.) сүйлөмдүн аяктаганын билдирүү үчүн.

8. Пайдалуу маалымат үчүн терминалды текшерүүнү улантыңыз.

9. Жана конверсияланган сүйлөөнү спикерде агылып жатканын угуңуз.

5 -кадам: Шилтемелер

1.

2.

3.

4.