Жеке англисче тренер - AI үн жардамчысы: 15 кадам

2024 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2024-01-30 10:40

Бул долбоор ар кандай лингвистикалык экзаменге даярданып жаткан студенттерге жардам берет, мында Snips AI менен өз ара аракеттенүү менен машыкса болот.

1 -кадам: Окуя

Муну эмне үчүн курдук?

Менин жеке тажрыйбамдан GRE, TOEFL, IELTS сыяктуу ар кандай лингвистикалык тестке даярданып жаткан көптөгөн адамдарды көрдүм. Аларга сөздү жаттоого жана түшүнүүгө жардам бере турган адам керек. Жалпысынан алганда, бир адам мындай экзамендерге даярданып жатканда, алар ката кетирсе текшерип, оңдоп бериши керек. Бул чечим менен биз үн жардамчысын колдонуу менен жумушчу күчүн азайта алабыз.

2 -кадам: Аппараттык түзүлүш

Биринчиден, мен SNIPSке жана SEEEDке бул долбоорду укмуштуудай Snips Voice Interaction Development Kit (Base Kit) менен колдогону үчүн ыраазычылык билдиргим келет, мен бул тактанын жардамы менен маалыматтуулукту сезип, ПХБнын ичинде интеграцияланган кээ бир татаал долбоорлорго жетише алдым.

Сиз Snips Voice Interaction Base комплектин 115 долларга жана Snips Voice Interaction спутниктик комплектин 85 долларга сатып ала аласыз

3 -кадам: SNIPS менен баштоо

Баштоодон мурун, сизге эмне керек экенин карап көрөлү.

• Raspberry Pi 3B/B+ (Сунушталат) же Pi 2 Model B (Колдоого алынат).
• Raspberry Pi үчүн Micro-USB Cable & Micro-USB электр адаптери.
• Micro SD картасы (Минималдуу 8 ГБ) - Иштетүү үчүн иштөө тутуму керек. Сиз Raspbian Stretchти жүктөп алып, Mac OS, Linux жана Windows үчүн колдонмолорду Raspberry Pi веб -сайтында колдоно аласыз.
• USB клавиатурасы жана чычкан, жана тышкы HDMI монитору - биз дагы USB клавиатурасы жана чычкандын, ошондой эле HDMI мониторунун болушун сунуштайбыз.
• Интернет байланышы (Ethernet же WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kit топтому колдонуучуларга үн интерфейстерин өнүктүрүүнү тездетип баштоого жана Snips AI Voice платформасын жабдыктар менен оңой бириктирүүгө мүмкүнчүлүк берет. Snips түзмөктө иштейт, башкача айтканда, сиздин бардык үн буйруктарыңыз жана маалыматтар булутка жөнөтүлбөй, жергиликтүү түрдө иштетилет. Бул түзмөктө иштетүү жеке маалыматыңызды купуя сактаган толугу менен коопсуз оффлайн үн жардамчысына алып келет.

Voice Interaction Base Kit сизге Snips AI Үн Платформасын толугу менен иштетүүгө мүмкүндүк берет. Raspberry Pi 3 Model B+ жана ReSpeaker 2-Mics Pi HAT менен иштейт, ал үйүңүздүн акылдуу спикери катары иштей алат. Комплект менен бирге спикер, Grove - Температура жана Нымдуулук Сенсору (SHT31), Grove - Реле жана казык тактайы менен дубалга илинип же кооз стенд түзүлөт.

Бирок бул баары эмес! Үн менен өз ара аракеттешүү спутниги сиздин базалык станцияңызды үйүңүздүн ар бир бөлмөсүнө чейин жеткирет жана сиздин буйруктарыңызды берген жерге жараша жабдыктар менен иштешүүгө мүмкүнчүлүк берет!

Бул комплекте Raspberry Pi3 B+ тактасы, ReSpeaker 2 -Mics Pi HAT, Grove - Реле, Grove - Температура жана нымдуулук сенсору (SHT31), Спикер 6 Ohm 2W, MicroSD картасы, Микро USB туташтыргычы бар кубат адаптери, Grove кабели x 2, Акрил базасы панель.

Ассамблея кадамдары: (SNIPSтен алынган мазмун) Төмөндөгү сүрөт монтаж бөлүктөрүнүн серепи.

Бул жерде монтаждоо бөлүктөрү базалык панелге орнотулат.

Андан кийин, бардык электрондук бөлүктөр тактага орнотулат.

Андан кийин, акрил коргоочу капкагын Grove -Relayдин үстүнө орнотуңуз.

Бул 2 бөлүк комплектти стол стендине айландыруу үчүн колдонулат.

Акыр -аягы, сиз Snips менен ойноого даярсыз.

Комплекти жайгаштыруунун эки жолун камсыз кылат. Аны стенд сыяктуу горизонталдуу бетке койсо болот же зым же жип менен дубалга илип койсо болот. Сураныч, комплект күйгүзүлгөндө Эстафетадан этият болуңуз, анткени жумушчу чыңалуусу жогору болот.

ЭСКЕРТҮҮ: Бизде Raspberry Pi 3B+ ордуна Raspberry Pi нөлү бар Snips Voice Interaction Satellite Kit бар.

4 -кадам: Snips AI менен интерфейс (Негизги долбоор)

• Комплектти комплектеги демейки кубат адаптери менен кубаттаңыз же Micro USB туташтыргычы бар 5V-2A DC адаптерин колдонуңуз.
• Кийинки кадам - Snips жардамчысын Raspberry Piге орнотуу. Орнотуу убактыңызды үнөмдөө үчүн, комплекттеги MicroSD картасы толук функционалдуу системанын сүрөтү менен жаркырап турат, бул Snips жардамчысы сиздин триггер сөздөрүңүзгө даяр экенин билдирет.
• Биз сизге кадам шилтеп орнотуу боюнча көрсөтмөнү изилдөөнү сунуштайбыз: https://docs.snips.ai/getting-started/quick-start… жана самдын куралын буйрук сабында үйрөнүңүз.
• Жардамчыны "Hey-snips" деп иштетип, төмөнкү буйрукту аткарыңыз:

Мисалдын видеосун төмөндөгү Snips Voice Interaction базалык комплектинен таба аласыз.

5 -кадам: Snips AI менен өз ара аракеттенүү (Project AI)

Ошентип, бул кантип иштейт. Биринчиден, биз Snips таанууну баштоо үчүн ысык сөздү колдонобуз. Бул Snips NLU аркылуу сүйлөмдү түшүнөт жана ниети аныкталат. Кийин ниетиңизди колдонуп, тиешелүү түрдө уячаларды алыңыз. Аракет коду менен биз AI жоопторун слотторго карата программалайбыз.

6 -кадам: Колдонмо жана ниеттерди түзүү

• Жардамчы түзүү. Менин учурда, мен JARVIS деген ат менен жана JARVIS ысымдуу сөзү менен жардамчы түзгөм.
• Ыңгайлаштырылган тиркеме түзүңүз же үйрөнчүктөр үчүн, китепканадан тиркемени колдонуңуз.
• Мен Words деген аталышта тиркеме түздүм
• Ниетти түзүңүз жана AIди үйрөтө баштаңыз. Бул сиздин AIди күчтүү кылууда чоң роль ойнойт. Бардык мүмкүн болгон киргизүүлөр менен машыктырыңыз.
• Сөздөрдү аныктоо үчүн уяча түзүңүз. Уячаны сүйлөмдүн күтүлгөн фразасына кой. Менин мисал үчүн, wordword - бул уячанын аталышы жана ал көк түс менен белгиленген.
• Ал бүткөндөн кийин, сиздин салт ASR даяр болот. Киргизүүлөр менен аракет кылыңыз. Жоопту оң жакта, жардамчынын астынан таба алабыз. Бул сизге чийки маанини, ниеттин атын жана уячасын чыгарууну берет.
• Төмөндө берилген дагы мисалдар менен уячаларды аныктаңыз
• Акырында, жекече AIди колдонуу үчүн жардамчыңызды жайгаштырыңыз.

7 -кадам: Raspbianди SD картага күйгүзүңүз

Raspbian - бул Raspberry Piде иштеген Linuxтун бөлүштүрүүсү. Бул колдонмодо биз Lite версиясын колдонобуз, бирок Desktop версиясын (графикалык чөйрө менен келген) да колдонсо болот.

• Etcherди жүктөп алып, аны орнотуңуз.
• SD картты окуу куралын ичиндеги SD карта менен туташтырыңыз.
• Etcherди ачыңыз жана катуу дисктен Raspberry Pi.img же.zip файлын тандап, SD картага жазгыңыз келет
• Сүрөтүңүздү жазгыңыз келген SD картаны тандаңыз.
• Тандоолоруңузду карап чыгып, "Жарк!" SD картага маалыматтарды жазууну баштоо үчүн

Аспапты тармагыңызга туташтырыңыз

• SSH кирүү мүмкүнчүлүгүн иштетүү, бош SD картаңызды жүктөө көлөмүнүн тамырына кайра SD картаңызды кошуу.
• SD картаны Raspberry Pi'ге салыңыз. Ал болжол менен 20 секундада жүктөлөт. Сиз азыр Raspberry Piге SSH кирүү мүмкүнчүлүгүнө ээ болушуңуз керек. Демейки боюнча, анын хосттун аты raspberrypi.local болот. Компьютериңизде терминалдык терезени ачып, төмөнкүлөрдү териңиз:

ssh [email protected]

Демейки сырсөз малина

8 -кадам: Snips платформасын орнотуңуз

Эгерде сизде азырынча жок болсо, Sam Command Line Interfaceти компьютериңизге орнотуңуз. Терминал терезесин ачыңыз жана киргизиңиз:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Тармактан Raspberry Piңизди төмөнкү аркылуу табыңыз:

sam түзмөктөрү

Андан кийин, түзмөккө туташуу орнотуңуз. Сизден түзмөктүн колдонуучу аты жана сырсөзү талап кылынат (демейки пи жана малина, демек):

sam туташуу

Биз азыр Raspberry Piге Snips платформасын орнотууга даярбыз. Буйрукту киргизиңиз:

sam init

9 -кадам: Аппаратты конфигурациялоо

Сэм аппараттык компоненттерди оңой орнотуу жана конфигурациялоо үчүн кээ бир буйруктарды берет. Бул бөлүмдө динамикти жана микрофонду орнотобуз. Орнотууңузга жараша кээ бир ыңгайлаштырылган конфигурация жасалышы керек.

sam орнотуу аудио

Динамикти сыноо

Динамиктин иштеп жатканын текшерүү үчүн чуркаңыз

sam тест спикери

Эгер баары ойдогудай болсо, анда бир нече сөз айткан үндү спикериңизден угушуңуз керек. Микрофонду конфигурациялоо Микрофонуңуздун иштеп жатканын текшере аласыз:

sam тест микрофону

Эгер сизде спикер бар деп ойлосоңуз, эгер сиз айтканыңызды так уга алсаңыз, анда микрофондун конфигурациясын уланта берсеңиз болот.

Аппаратты орнотуу иштеп жатканына канааттангандан кийин, сиз кийинки кадамга өтүүгө даярсыз, ал жерде сиз биринчи жардамчыңызды жайгаштырасыз.

10 -кадам: AI моделин консолдон импорттоо

Мурунку кадамдардан жардамчыңызды түзгөнүңүздөн кийин, терминалдын терезесинен консолго кириңиз:

sam кирүү

Сизден Snips Console грамоталарын киргизүү суралат.

Андан кийин, жардамчыны орнотуңуз:

sam орнотуу жардамчысы

Эгерде сиз Консолдо бир нече жардамчыларды түзсөңүз, тизмеден кайсынысын орнотууну тандооңуз талап кылынат.

11 -кадам: Handler & Action Code

Raspberry Pi жооп бериши үчүн, биз иштетүүчүнүн кодун жазышыбыз керек. Бул Snips платформасында белгилүү бир окуя болгондо аткарылган код, мисалы ниети аныкталганда.

Иштешине жараша Handler түзүүнүн ар кандай ыкмалары бар.

Компьютериңизде иштетүүчү кодуңузду сактагыңыз келген папканы түзүңүз. Терминал терезесинен ошол каталогго өтүп, киргизиңиз:

npm init

Бул сиздин долбоордун сүрөттөмөсүн, көз карандылыгын жана башкаларды камтыган package.json аттуу файлды түзөт. Кийинки, mqtt пакетине көз карандылыкты кошуңуз:

npm mqtt --save орнотуңуз

Эми index.js деп аталган файлды түзүңүз жана төмөнкү кодду чаптаңыз, хосттун өзгөрмөсүн Raspberry Pi хостингиңизге алмаштырыңыз (эгер ал демейки raspberrypiден айырмаланса):

var mqtt = талап кылуу ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (хосттун аты); client.on ('connect', function () {console.log ("[Snips Log] MQTT брокерине туташкан" + хосттун аты); client.subscribe ('hermes/#');}); client.on ('билдирүү', функция (тема, билдирүү) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} if if (topic === "hermes/asr/stopListening")) {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (билдирүү));}}); onIntentDetected (ниет) функциясы {console.log ("[Snips Log] Максат аныкталды:" + JSON.stringify (ниет)); } onHotwordDetected функциясы () {console.log ("[Snips Log] Hotword аныкталды"); } onListeningStateChanged функциясы (угуу) {console.log ("[Snips Log]" + (угуу? "Баштоо": "Токтоо") + "угуу"); }

Бул кодду Node аркылуу иштетүү:

түйүн index.js

Сиз Snips MQTT брокерине ийгиликтүү туташуу жөнүндө билдирүү көрүшүңүз керек. Мурдагыдай эле, Raspberry Pi менен үн менен иштөө:

Эй Снипс, Ченнайда аба ырайы кандай

Сиз журналдарды жаңыртууну көрүшүңүз керек:

[Snips Log] MQTT брокери mqtt: //raspberrypi.local менен туташты

[Snips Log] Hotword табылды [Snips Log] Угууну баштоо [Snips Log] Угууну токтотуу [Snips Log] Максат аныкталды: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" Ченнайдагы аба ырайы кандай "," ниет ": {" ниетName ":" searchWeatherForecast "," ыктымалдык ": 0.73845243}," уячалар ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "прогноздун_жерчилиги"}]}

12 -кадам: Мүчүлүштүктөрдү оңдоо

Мурунку жардамчы жок болсо, аны жок кылыңыз

$ sudo rm -rf/usr/share/snips/assistant/

Каталогду Жардамчыга өзгөртүү үчүн

cd/var/lib/snips/көндүмдөр/

Репонун мазмунун жергиликтүүга клондоштуруу

git clone

Setup.sh скриптин иштетүү үчүн

./setup.sh

Виртуалдык чөйрөнү иштетүү

venv/bin/activate булагы

Аракет кодун иштетүү

./action-.py

Python скриптине уруксат берүү үчүн

chmod +x action-.py

13 -кадам: Каптоо

• Мен бул долбоор үчүн IP бааланган корпусту колдонгон элем
• Биринчиден, мен электр шнуруна жана HDMI кабелине схемаларды жана уячаларды орнотуу үчүн керектүү тешиктерди жасадым.
• Анан мен Raspberry Pi -нин баарын корпустун ичине салып, бекем бурап койдум.
• Мен Динамик менен Микрофонго кичинекей тешик жасап, акрил барактын кичинекей бөлүгүн колдонуп жаптым.
• Динамикти ReSpeaker шляпасына бекем туташтырыңыз.
• Акыр -аягы, бардык бурамалар бекем орнотулган жана электр кабели уяча аркылуу салынган.
• AI акыры ушундай көрүнөт: D

14 -кадам: АИнин иштеши

Сиз Snips-саатынын жардамы менен көзөмөлдөнүүчү маалыматтарды таба аласыз

Азыр шоу убакыт. Мен AI менен жөнөкөй саламдашуу менен жасай баштадым. Анын иштешин карап көрүңүз.

Тренер AI чектелген сөздөр үчүн программаланган. Бул кичинекей өзгөртүүлөр менен кеңейтилет. Бул Студенттерге маанини салттуу ыкмага караганда тезирээк жаттоого жардам берет.

Көңүл буруңуз: Бул долбоор болжол менен 25 сөз үчүн даярдалган. Аны иш кодунда кичине оңдоолорду киргизүү менен кеңейтүүгө болот.

Сиз Action сценарийлерин тиркелген Github репозиторийимден таба аласыз.

Салам AI үчүн Project Repo-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Тренер AI үчүн Project Repo-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Менин колдонмого шилтеме:

Бүт орнотуу болжол менен $ 115 турат, аны SNIPSтен сатып алса болот жана бул чечим салттуу ыкмаларга салыштырмалуу абдан арзан жана эффективдүү. Болжол менен 100, 000ден ашык тесттер Индияда алынган жана бул продукт GRE алуучулар үчүн эң жакшы кошумча болот.

Бармагыңызды бериңиз, эгер бул сизге чындап жардам берген болсо жана менин каналымды кызыктуу долбоорлор үчүн ээрчиңиз.:) Бул видео жакса бөлүшүп коюңуз. Жазылганыңыз үчүн бактылуумун: https://console.snips.ai/store/en/skill_xBKlxnE5K… Окуганыңыз үчүн рахмат!