EWON Raspberry Pi Powered Home роботу: 7 кадам (сүрөттөр менен)

2024 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2024-01-30 10:38

Автордун дагы бир нерсесин караңыз:

Жөнүндө: Инженерия жана дизайн Sharathnaik жөнүндө көбүрөөк маалымат »

Мен жакында эле учурдагы кырдаалга байланыштуу Netflixтин көп серияларын көрүп отуруп калдым, баарыңар амансыңар деп үмүттөнөм жана Кара күзгүнүн 5-сезону жарык көргөнүн көрдүм. Антология сериясы адамдардын жеке жашоосунун тегерегинде жана технология алардын жүрүм -турумун кантип башкарат.

Жана менин көңүлүмдү бурган эпизоддордун бири - Рэйчел, Джек жана Эшли Тоо. Бул сериянын башкы каармандарынын бири - Эшли О аттуу үй роботу жана ал роботтун айланасында көптөгөн мүнөздөр бар жана мен өзүм ойлонуп көргөм, мен аны курушум керек деп ойлогом, эгерде жок болсо, программалоону баштоо жакшы долбоор. Мен аны тамашаларыма күлкү үчүн программалай алам.!

Эвон деген ким / ким? Бул эмне кыла алат?

Ошентип, мен бул долбоордун үстүндө иштөөнү баштоодон мурун, мен сактоого тийиш болгон кээ бир негизги эрежелерди койдум. Бул долбоор болушу керек болчу

• Ар бир адамга сынап көрүү оңой
• Жөн эле сүйкүмдүү болуу менен эле чектелбестен, пайдалуу болушу керек
• Жаңы функцияларды кошо беришиңиз үчүн модулдук.

Бул эрежени койгондон кийин Google Жардамчынын SDKсын колдонууну чечтим. Бул SDK мен издеп жүргөн көптөгөн мүмкүнчүлүктөрдү камсыз кылат жана эгер сиз Ewonдон тажасаңыз, таксиңиз аны дайыма Google Home түзмөгү катары колдонуп, Google үйүнүн кылгандарын жасайт.

Эвон кыла турган нерсе - Google жардамчысына мүнөз кошуу. Бул эмоцияларды көрсөтүү жана колдонуучунун айткандарына жооп берүү. Эми бул жөн эле угулган үн эмес, сиз кандай реакция кылууну да көрө аласыз.

ЭСКЕРТҮҮ: Бул көрсөтмө иштелип чыгууда. Мен жакында бардык тиешелүү файлдарды жүктөйм. Рахмат

1 -кадам: Ewon үчүн керектүү бөлүктөр

ELECTRONICS

• Raspberry PI
• Servo SG90 (x4)
• Servo MG995 - стандарт (x2)
• PCA9685 16 Каналдуу Серво Драйвери
• USB үн картасы
• Микрофон
• Динамиктер (Ар бир кичинекей спикер ушундай кылат)
• Эркек жана ургаачы пин баштын бириктиргичтери
• Breadboard
• Nextion Display

ОРНОТУУЧУЛАР ЖАНА ТӨШӨКЧҮЛӨР

• M3*10мм (x10)
• M3*8mm (x10)
• M3 жаңгактар (x20)

• Bearing

  • OD: 15мм ID: 6мм Туурасы: 5мм (x2)
  • OD: 22мм ID: 8мм Туурасы: 7мм (x2)

БАШКА МАТЕРИАЛДАР

• Standoff

  • 40мм (x4)
  • 30мм (x4)

КУРАЛДАР

3D принтер

2 -кадам: Ewon жана программалоону түшүнүү

Программалоо жагын баштоодон мурун, Эвондун схемасынын блок -схемасын кыскача түшүндүрүп берейин.

RPI (Raspberry pi) - системанын мээси. RPI тарабынан башкарылуучу Servo айдоочу сервону айдайт. Сезимдерди көрсөтүү үчүн сериялык байланыш менен RPI тарабынан башкарылган дисплей жана акырында микрофон жана динамиктер Ewon менен байланышуу үчүн колдонулат. Эми биз кандай жабдыктар эмне кыларын билдик, эмнени программалоону баштайбыз.

Google жардамчысы SDK орнотулууда

Эмне үчүн Google Жардамчыны колдонууну пландап жатканымдын эки себебин түшүндүрүп берейин:

• Мен Эвондун кызыктуу робот гана болбостон, пайдалуу да болушун кааладым. Google Assistant SDKда Ewonдун функционалдуулугун жогорулатуу үчүн колдоно турган көптөгөн ресурстар бар.
• Ошондой эле, Ewonго алдын ала жооптор менен баарлашуу мүмкүнчүлүгүн берүү үчүн Google жана диалог агымындагы аракеттерди колдоно аласыз. Азырынча биз негизги SDKге гана көңүл бурабыз.

Келгиле, Google жардамчысы SDK орнотуудан баштайлы. Бул кыйын болбошу керек, анткени RPIде Google Assistant SDKти орнотууга жардам бере турган көптөгөн ресурстар бар. Сиз бул окуу куралын ээрчип кете аласыз:

Үйрөткүч:

Жогорудагы процесс аяктагандан кийин, сиз клавиатурадагы Enter баскычын басып, жардамчы менен сүйлөшө алышыңыз керек. Бул Google Assistant SDK орнотуу жөнүндө.

Мен эмне деп ат коюшум керек? Эвон?

Эй, Google! Бул Google жардамчысы менен сүйлөшүүнү баштоо үчүн колдонулган нерсе жана тилекке каршы, Google башка колдонуучунун ойготуу сөзүн колдонууга уруксат бербейт. Келгиле, муну кантип өзгөртө аларыбызды карап көрөлү, кимдир бирөө Ewonго чалганда Google жардамчысы иштетилет.

Snowboy: Raspberry Pi, (Ubuntu) Linux жана Mac OS X менен реалдуу убакытта шайкеш келтирилген өтө ыңгайлаштырылган ысык сөздү аныктоочу кыймылдаткыч.

Ысык сөз (ошондой эле ойготуу сөзү же триггер сөзү катары да белгилүү) - бул компьютер башка аракеттерди баштоо үчүн сигнал катары дайыма угуп турган ачкыч сөз же фразеологизм.

Келгиле, Snowboyду RPIге орнотуудан баштайлы. SDB жардамчысын орноткондой эле, Snowboyду орнотуу үчүн виртуалдык чөйрөнү иштетүүнү унутпаңыз. Бул жерден биз орноткон нерсенин баары виртуалдык чөйрөгө орнотулушу керек. Snowboy орнотуу бир аз татаал болушу мүмкүн, бирок бул шилтеме аны эч кандай көйгөйсүз орнотууга жардам бериши керек. Шилтеме:

Бул жерде жогоруда көрсөтүлгөн шилтеме түшүнүксүз болуп калса же орнотуу ишке ашпай калса, жыйынтыкталган орнотуу процесси.

$ [sudo] apt-get install libatlas-base-dev swig $ [sudo] pip install pyaudio $ git clone https://github.com/Kitt-AI/snowboy $ cd snowboy/swig/Python3 $ make $ cd.. /.. $ python3 setup.py куруу $ [sudo] python setup.py орнотуу

Орнотулгандан кийин, демо файлды иштетиңиз [папкадан табылган - snowboy/Examples/Python3/], бардыгы идеалдуу иштээрин билиш үчүн.

Эскертүү: сиз роботтун атын оңой эле башка нерсеге өзгөртө аласыз. Болгону https://snowboy.kitt.ai/ сайтына кирип, ыңгайлаштырылган ачкыч сөздү үйрөтүп, анан ошол ысык сөздү ewon.pmdl папкасына жайгаштыруу керек.

Эвон эмоцияларды түшүнө алабы?

Эми Эвондун аты бар, мен аны робот деп атоонун ордуна Эвонду колдоном. Макул эмоциялар, кыска жооптор жок, Эвон эмоцияларды түшүнө албайт, андыктан биз Эвонду ачкыч сөздөрдү колдонуп сүйлөөбүздөгү эмоцияны аныктап, анан аны менен байланышкан тиешелүү мимиканы ойнотуубуз керек.

Буга жетүү үчүн, мен жасаган нерсе - сезимди анализдөө үчүн жөнөкөй сценарий. 6 түрдүү сезим класстары бар.

Бактылуу, Кайгылуу, Ачуулануу, Коркуу, Жиркенүү жана Сюрприз. Бул негизги эмоция класстары жана алардын ар биринде эмоцияга байланышкан ачкыч сөздөрдүн тизмеси бар. (мисалы, жакшы, жагымдуу, толкунданган, бардыгы бактылуу эмоциянын астында калат).

Ошентип, эмоция классындагы ачкыч сөздөрдүн бирин айтканыбызда, тиешелүү эмоция ишке кирет. Демек, "Эй Эвон!" жана Эвондун сүйлөөсүн күтө туруңуз, мен "Бүгүн жакшы күн!" деп айтууну улантам, ал "Nice" деген ачкыч сөздү алат жана "Бактылуу" деген эмоцияны ишке киргизет, ал Беттин мимикасын иштетет.

Бул кулактар Эвондо барбы?

Кийинки кадам тиешелүү мимиканы иштетүү үчүн козголгон эмоцияны колдонуу болмок. Ewon менен мимика байкалат, бирок кулактары менен моюнун кыймылга келтирүү жана дисплейди өзгөртүү, көз кыймылын өзгөртүү үчүн.

Биринчиден, серволор, муну иштетүү үчүн, бул үйрөткүчтү колдонуп, Adafruit servo китепканасын орнотсоңуз болот. Шилтеме:

Андан кийин биз бардык серволор үчүн максималдуу жана минималдуу маанини дайындайбыз. Бул кол менен ар бир сервону жылдыруу жана анын чектерин текшерүү аркылуу жасалат. Эвонду чогулткандан кийин муну кыла аласыз.

Көздөр Эвонго

Көз үчүн мен Nextion дисплейин колдонуп жатам, анда төмөндөгүдөй сүрөттөр бар.

Бул мен фотошопто иштеп чыккан сүрөттөрдүн ырааттуулугу, ал ырааттуу ойнотулганда анимация болот. Окшош ырааттуулук бардык сезимдер үчүн түзүлгөн. Эми кандайдыр бир эмоцияны көрсөтүү үчүн анимацияны түзгөн белгилүү бир сүрөттүн ырааттуулугун чакыруу жетиштүү. Файлдар "Файлдарды көрсөтүү" папкасында, төмөндөгү шилтемени жүктөп алыңыз.

Акыры

Баарын бириктирип, бактылуу эмоцияны сценарий иштеткенде, бактылуу функция деп аталат жана серво буга чейин белгиленген бурчтарга жылат жана дисплей бактылуу көздүн анимациясын ойнойт. Ошентип, биз адамдык сезимдерди "түшүнүүгө" жетишебиз. Бул ыкма эң жакшы эмес жана ачкыч сөздөр алдын ала аныкталгандай эмоцияга кирбей калган учурлар болот, бирок азырынча бул жетишерлик жакшы иштейт жана аныктоонун тактыгын жогорулатуу үчүн ар дайым көбүрөөк ачкыч сөздөрдү кошсоңуз болот. Андан тышкары, бул жакшыраак натыйжаларга жетүү үчүн Paralleldots Emotion анализи модели сыяктуу бир топ үйрөтүлгөн эмоцияны талдоо модели менен алмаштырылышы мүмкүн. Бирок мен аракет кылганда, Эвондун реакциясын жайыраак кыла турган бир топ кечигүүлөр болду. Балким, Ewon 2.0 версиясында ушундай нерсе болот.

Бул EWONду иштетүү үчүн керектүү болгон бардык файлдарга Шилтеме. Файлды жүктөп алып, төмөнкү кадамдарды аткарыңыз:

• Файлды бул папканы (Ewon) үйдөн чыгарыңыз/pi/
• Main.py файлына Device Id жана Model ID кошуу. ID google жардамчысы SDK орнотуу учурунда алынат.
• Командалык кеңешти ачыңыз жана төмөнкү буйруктардын булагын иштетиңиз:

булак env/bin/activatepython main.py моделдери/Ewon.pmdl

3 -кадам: Денени басып чыгаруу

3d файлдарды бул жерден таба аласыз:

Эми биз баарыбыз Эвондун мээси менен анын денесин басып чыгарууга убактыбыз келди. Басып чыгаруу үчүн 18 уникалдуу бөлүк бар, алардын көбү абдан кичинекей, жалпы басып чыгаруу убактысы 15-20 сааттын тегерегинде. (учурларды кошпогондо).

Мен 50% толтуруу жана катмардын бийиктиги 2 мм болгон ак PLA колдондум. Керек болсо бул баалуулуктарды өзгөртө аласыз, ал жакшы иштеши керек, бирок күчтүүлүк үчүн кичинекей бөлүктөрүнүн 100% толтурулушу керек.

Файлдар басылып чыккандан кийин, сиз зумур кагазын же колго жүктөлгөн файлды колдонуп, басылган бөлүктөрдү, айрыкча, бөлүктөр бири -бири аркылуу өтүүчү шилтемелерди тазалай аласыз. Муундарды тегиздөө механизмди жылмакай кылат жана servoго азыраак каршылык көрсөтөт. Бул процесс сиз каалаганча созулушу мүмкүн, анткени басып чыгарылган бөлүктөрдү кемчиликсиз кылып көрсөтүү үчүн адашып калышыңыз мүмкүн.

Кошумча эскертүүлөр: Сиз 3мм битти колдонуп, 3d басылган бөлүктөрүндөгү тешиктерди кайра бургулай аласыз. Бардык тешиктер бирдей өлчөмдө. Бул жаңгакты кийинчерээк жыйноодо бурап жатканда жеңилдетет.

4 -кадам: Эвонду бириктирүү

Жыйынды баштоодон мурун, басылган бөлүктөргө бир аз өзгөртүүлөрдү киргизүү керек. Серво шилтемеси деп аталган файлдар servo менен келген servo шилтемелери менен жабдылышы керек, бул 3d басылган шилтемелерди servo менен жакшы туташууга шарт түзөт.

Ewon Ассамблеясы түз алдыга карай болушу керек. Мен сизди ээрчишиңиз үчүн сүрөттөрдү тиркеп койдум.

Кошумча эскертүүлөр: Болттун же бураманын бирөөнү ашыкча кыспаңыз, анткени бул басылган бөлүктөрдү сындырып, кийип калышы мүмкүн.

5 -кадам: Эвонду кошуу

Биз Эвонду жандандыруу үчүн акыркы кадамдабыз. Бул жерде компоненттердин туташуу схемасы жана байланышты көрсөтүүчү сүрөттөр бар.

• Серво драйвери SDA жана SCL RPI болгон I2C казыктарына туташкан.
• Дисплей RPIдин RX жана TX казыктарына туташкан
• Микрофон жана динамиктер USB порту аркылуу RPIге туташкан USB Үн картасына туташкан.

Эскертүү: RPIди кыскартуудан этият болуңуз. Сураныч, эки жолу бардык байланыштарыңызды текшериңиз жана ката кетирбегениңизди текшериңиз. Динамик, серво айдоочу жана дисплей болгон бардык аксессуарлар өзүнчө 5v батарея менен иштейт жана Raspberry Pi 5v линиясын колдонбойт. Raspberry pi маалыматты аксессуарларга жөнөтүү үчүн гана колдонулат, бирок аларды иштетүү үчүн эмес.

6 -кадам: Эйвон! Сен мени уга аласыңбы?

Ошентип, биз бардык аксессуарларыбызды тиркеп, керектүү китепканаларды орноттук. Сиз Ewonду./run Ewon.sh менен кабык скриптин иштетүү менен баштасаңыз болот, бирок бул.sh скрипти деген эмне? Эвон ар кандай сценарийлери бар көптөгөн китепканаларды колдонот (Google жардамчысы SDK, Snowboy, Adafruit ж.б.). Бардык скрипттер тиешелүү папкаларга жайгаштырылган. (Биз бардык файлдарды бир эле жол менен жылдыра алабыз жана бардык сценарийлерди иретке келтире алабыз, бирок азыркы учурда кээ бир китепканалар баштапкы файлдарды жылдырууга уруксат бербейт, андыктан азырынча биз аларды тиешелүү жерлеринде сактайбыз).sh бул сценарийлерди ар бир жерден бирден иштетүүчү кабык сценарийлери, андыктан ар бир жерге кол менен барып, скрипттерди иштетүүнүн кажети жок. Бул бардык буйруктарды башкарууну жеңилдетет.

Кабык скриптин иштеткенден кийин, "Эй Эвон!" Деп айт. жана сен Эвондун сени уга баштаганын көрүшүң керек. Эми сиз Ewonду google жардамчысы катары колдонуп, аны менен сүйлөшө аласыз жана сиз Эвондун айтканыңызды өзгөртүп жатканын көрө аласыз. "Эй Эвон! Мен бүгүн кайгырып жатам "жана сен Эвондун сени менен капа болгонун көрө аласың. Эвондон тамашаны сураңыз жана анын тамашага күлгөнүн көрүңүз.

7 -кадам: Кийинки эмне болот?

Эвон бул жерде токтап калмайды. Эвондо эмоцияларды аныктоо жана көрсөтүү жолу бар, бирок биз андан дагы көп нерселерди жасай алабыз. Бул башталышы гана.

Келе жаткан жаңыртууда, биз аны кантип жасоо боюнча иштейбиз

• Эвон жүздөрдү аныктайт жана жүзүңүздү көзөмөлдөйт жана жүзүңүз менен бирге жылат.
• Биз мүнөзгө кошумча тереңдик берүү үчүн үн эффекттерин кошобуз.
• Эвон сиз менен кошо кыймылдай алышы үчүн мобилдүүлүктү кошуңуз.

Эскертүү: Учурдагы кырдаалга байланыштуу долбоордун бөлүктөрүн алуу абдан кыйын болуп калды. Бул менин инвентаризациямдагы ойлорду эске алуу менен дизайнды жана функционалды өзгөртүүгө мажбур кылды. Бирок мен бардык бөлүктөргө колумду койгондон кийин, долбоор жогоруда жаңырды.

Жаңыртуулар:

• Кодго бир аз өзгөртүүлөрдү киргизди, кабык скриптин алып салды.
• EWON үчүн тик бурчтуу дене кошулду.