Жылдызды таануу Computer Vision аркылуу (OpenCV): 11 кадам (Сүрөттөр менен)

2025 Автор: John Day | [email protected]. Акыркы өзгөртүү: 2025-01-23 14:51

Бул көрсөтмө сизге сүрөттөгү жылдыздардын үлгүлөрүн автоматтык түрдө аныктоо үчүн компьютердин көрүү программасын кантип түзүүнү сүрөттөйт. Бул метод OpenCV (Open Source Computer Vision) китепканасын колдонуп, белгилүү жылдыз моделдерин таануу үчүн колдонула турган, үйрөтүлгөн HAAR каскаддарынын топтомун түзүү үчүн колдонот. Бул колдонмо жылдыздын үлгүсүн таануу контекстинде болсо да, мен сүрөттөгөн OpenCV процесси башка колдонмолорго да колдонулушу мүмкүн - демек, пайдалуу болот!

Долбоор бул видеодо кыскача баяндалган:

Эмне үчүн мен муну инструктивдүү деп жаздым?

1. Мен иштеп жаткан жылдыздардын үлгүсүн аныктоо ыкмасы, бул телескоптун багыты, автоматтык сүрөттөлүш классификациясы, же акыры ачык булакта же ышкыбоз CubeSat боюнча жылдыз сенсорунун астрономия долбоорлорунун кеңири спектрине колдонулушу мүмкүн деп ишенем.
2. Бул жерде OpenCV боюнча көптөгөн жакшы көрсөтмөлөр бар, бирок ошентсе да, мен аны үйрөнүү өтө кыйын процесс деп таптым, андыктан бул колдонмо OpenCV үчүн HAAR классификаторлорун үйрөтүүнү каалаган башка адамдар үчүн жакшы маалымат болот деп үмүттөнөм (сөзсүз түрдө Балким астрономия!)
3. Мен өзүм үйрөтүлгөн программист эмесмин, ошондуктан бул долбоор чынында менин түшүнүгүмдү күчөттү. Бул нускамалуу башка, тажрыйбалуу, жазуучуларды жазуу менен, бул концепциянын үстүндө иштөөгө шыктанат жана GitHubга салым кошот жана бул беттеги комментарийлер аркылуу.
4. Үйрөнчүк астрономия жана ориентация методдору менин чоң кызыгуум, менин мурунку көрсөтмөмдү караңыз, телескоптор үчүн Arduino Star-Finder.

Бул Нускаманын мукабасындагы сүрөтү мен дизайнга катышкан 3U CubeSat дизайнынын концепциясы. Мен муну көрсөтмө берүү үчүн колдондум, анткени компьютердин көрүү жылдыздарын таануу системасынын түпнуска колдонмосу Raspberry Pi V2 Камерасын колдонуп, CubeSats ышкыбоздорунун багыттоо сенсоруна арналган. Мен ишенем, башка көптөгөн потенциалдуу тиркемелерди компьютердин көрүү жылдызын таануу, бирок менимче бул эң крутой!

Чакан Глоссарий:

Компьютердин көрүүсү жөнүндө билүү, колдонулган адистештирилген терминдердин саны менен жайыраак болот, ошондуктан мен бул жерде биз үчүн айрымдарын аныктайм:

Каскад - белгилүү бир максаттуу объектини аныктоого үйрөтүлгөн классификатор.

Ишенимдүү Маркер - Сүрөткө визуалдык шилтемени кошуучу белги.

HAAR - Хаарга окшош өзгөчөлүктөр классификаторлорду окутуу үчүн колдонулган сүрөт өзгөчөлүгүнүн бир түрү.

OpenCV - Open Source Computer Vision, компьютерди көрүү куралдарынын китепканасы.

Stellarium - Open Source астрономия программасы.

1 -кадам: талаптар

OpenCV - бул Linux негизделген китепкана, андыктан аны Windowsто жакшы иштетүү мүмкүн болсо да, аны Linux чөйрөсүндө иштетүү бир топ жеңилирээк болот (муну менден алып, толук иштөө үчүн көп күндөрдү ал. Windows!). Эксперимент катары мен OpenCVди Raspberry Pi 3B+программасына жүктөп алып иштеттим, ал ийгиликтүү болду, бирок классификаторлорду окутуу абдан оперативдүү процесс болгондуктан, эгер сиз муну каалаган ылдамдыкта жасоону кааласаңыз, анда сунушталган маршрут Linux Virtual Server жалдоо (чындыгында таң калыштуу түрдө арзан болушу мүмкүн) бир нече күн/жума/айга жана классификатордук тренингди өткөрө турган атайын чөйрө катары колдонуңуз. Сиз Putty сыяктуу SSH кардарын колдонуп, Windows PCден серверди башкара аласыз. Каскаддар VPSтин жардамы менен үйрөтүлгөндөн кийин, аларды Windows PCке жүктөп алса болот жана Python Windows чөйрөсүндө сүрөт таануу программасын иштетүү үчүн колдонулушу мүмкүн.

Linux Virtual Server:

Linux Virtual Server (VPS) HAAR каскаддык окутуу процесстерин аткаруу үчүн керек. Башында мен 8 ГБ оперативдүү жана Ubuntu 16.04.6 (LTS) x64 менен сервер жалдадым, кийинчерээк мен каскаддарды машыктыруу ылдамдыгын эки эсе көбөйтөм, бирок сизге эң аз дегенде бирөө керек болот

Программалык камсыздоо:

• Stellarium - бул виртуалдык планетарий/астрономия программасы, эркин жеткиликтүү. Бул сыноодо колдонуу үчүн окшоштурулган жылдыздардын сүрөттөрүн чогултуу үчүн колдонулат.
• Putty - Бул VPSти буйрук сабы аркылуу көзөмөлдөө үчүн колдонулган SSH кардары.
• WinSCP - бул Windows PCтен файлдарды өткөрүп берүү үчүн колдонулат.

2 -кадам: VPSти орнотуу

VPSти ишке киргизүү үчүн чакан орнотуу процесси бар. Биринчи жолу сиз үчүн бир аз убакыт талап кылынышы мүмкүн, бирок кадамдарды кылдат аткарсаңыз, бул өтө татаал эмес. Бул окуу куралы мен үчүн эң сонун шилтеме болду, мен сизди бул көрсөтмө аркылуу иштеп жатып окуп чыгууну сунуштаар элем. Ал каттын артынан ээрчүү үчүн зарыл болгон линукс командаларынын өзгөчөлүктөрүн камтыйт.

Болжол менен, процесс төмөнкүлөрдү камтыйт:

1. Туура Ubuntu версиясы менен Linux серверин түзүү.
2. Серверди жаңыртуу жана жаңыртуу.
3. OpenCV орнотулган жумушчу мейкиндик каталогун түзүү.
4. Кээ бир керектүү нерселерди, тактап айтканда компиляторду, ар кандай китепканаларды жана Python байланыштарын орнотуу.

Бул этаптан кийин, сиз окуу процессине даярданууну баштоого даярсыз.

3 -кадам: Процесс

HAAR каскаддарын колдонуу менен компьютерди көрүү процесси адегенде түшүнүксүз, ошондуктан бул кадам логиканы бир аз кеңири сүрөттөйт:

Негизги процесс

1. Кызыктыруучу объектини камтыбаган бир нече миң сүрөттөрдөн турган терс сүрөттөр топтому бар. Бул VPSке жүктөлүшү керек.
2. Кызыккан объектини камтыган бирден -бир оң образ түзүлөт. Бул ошондой эле VPSке жүктөлүшү керек.
3. Жалгыз позитивдүү сүрөт тандалган параметрлердин жыйындысы боюнча бурмаланат, бурмаланат, бурулат ж.б. Бул бир сүрөттөн чоң позитивдүү маалымат топтомун түзүүнүн жасалма жолу. (Мышыкты аныктоо сыяктуу башка реалдуу тиркемелер үчүн сиз мышыктардын бир нече миң сүрөттөрүн колдонсоңуз болот, бирок эгерде сизде мындай чоң сүрөттөр топтому болбосо, бул ыкма дайыма эле ылайыктуу боло бербейт. Бул жерде колдонулган жасалма ыкма. анча эффективдүү болбойт, бирок бул сыяктуу колдонуунун жалгыз варианты).
4. Окутуу процесси жүргүзүлөт, ал этап менен иштейт. Ар бир этап сүрөттөрдүн ичинде ар кандай HAAR тибиндеги өзгөчөлүктөрдү аныктоо үчүн каскадды үйрөтөт. Ар бир этап аяктоо үчүн геометриялык жактан көп убакытты талап кылат жана классификатордун эффективдүүлүгү ар бир жолу жогорулайт (сиз билсеңиз эле ашыкча машыгууга болот!).
5. Бир машыктырылган каскад бир максаттуу объектти издей алат. Эгерде сиз бир нече уникалдуу объекттерди аныктоону кааласаңыз, анда ар бирине үйрөтүлгөн каскад керек болот. Бул учурда, мен түндүк асман жарым шарын камтый турган топтомду түзүү үчүн уникалдуу жылдыз паттерлери үчүн 50гө жакын түрдүү каскаддарды үйрөттүм.
6. Акырында, ар бир комплекттин каскадын киргизүү сүрөтүнө каршы иштетүүчү аныктоо программасы колдонулат. Каскад кирүүчү сүрөттүн ичинде өзүнүн максаттуу объектин издейт.
7. Эгер ийгиликтүү болсо, максаттуу объект кирүүчү сүрөттүн ичинде аныкталат.

nb. мисалы, спутник багыттоо контекстинде колдонулса, сүрөт борттогу камеранын жардамы менен тартылмак. Ал сүрөттөгү эң жаркыраган жылдыздар аныкталып, маркерлер ошол позицияларда капталган. Бул сүрөт анда үйрөтүлгөн каскаддар топтомуна сунушталат, ал кирүүчү сүрөттө кандайдыр бир максаттуу объекттердин бар -жогун текшерет. Эгерде чыныгы позитив табылса, анда белгилүү жылдыздын бурчтук абалы спутниктик дененин огуна карата ачылат.

4 -кадам: Негативдер жана Позитивдер

Негативдер

Каскаддык тренингдин чындыгында негизги аспектиси - мүмкүн болушунча терс сүрөттөрдүн топтомуна ээ болуу. Биз миңдеген, идеалдуу түрдө он миңдеген сүрөттөрдү айтып жатабыз. Алардын курамында эч кандай мааниге ээ эмес, максаты - ар кандай визуалдык маалыматты берүү. Классификаторлорду окутуу папкасында мен түзгөн ар кандай терс сүрөттөр топтому бар. Башында булар Stellariumдан алынган жылдыз талаасындагы окшоштурулган сүрөттөрдөн гана турган, бирок мен кийинчерээк маалымат топтомун мүмкүн болушунча рандомизацияланган сүрөттөр менен толуктадым (ооба, менин майрамдык сүрөттөрүмдү кошкондо …). Ал жердеги эң чоң маалымат топтому дээрлик 9000 сүрөттү камтыйт, бул мен буга чейин жараткан эң чоң сүрөт болчу. Муну колдонуу менен сиз өзүңүздүн компиляцияңызды сактап каласыз.

Позитивдер

Оң сүрөт (бул каскадды таанууга үйрөтүлө турган максаттуу жылдыздын үлгүсү) Stellariumдагы жылдыздын үлгүсүнүн скриншоту катары башталат. Питон программасы анда сүрөттөгү эң жаркыраган жылдыздарды аныктайт жана маркерлерди (кийинчерээк бул нускоодо түшүндүрүлөт) бул жылдыздардын позициясына каптайт. Бул сүрөт кийин 50x50 пикселге чейин кичирейтилет. Бул кичинекей, бирок каскаддар үчүн керектүү машыгуу убактысы бул өлчөм көбөйгөн сайын геометриялык түрдө көбөйөт, ошондуктан бул сапат менен убакыттын ортосундагы жакшы компромисс.

5 -кадам: Stellarium Control

GitHub репозиторийинин Stellarium Scripts папкасында мен Stellarium колдонууну көзөмөлдөө үчүн жазган үч программа камтылган. Аларды колдонуу үчүн, Stellarium орнотуу папкаңыздын скрипттер папкасына салыңыз. Аларды иштетүү үчүн, сиз Stellarium менюсунан сценарийлер терезесин ачсаңыз болот, же Stellariumду ишке киргизе турган жана тандалган программаны дароо иштете турган скрипттер папкасындагы программаны эки жолу басуу менен.

тезис_4 жана тезис_5 түндүк жана түштүктүн ар бирине тиешелүү 2000ге жакын сүрөттү камтыйт, асман жарым шарлары. Бул терс сүрөттөрдүн маалымат базасын түзүү, позитивдүү имиджди каршы окутуу үчүн колдонулган. Түндүк менен түштүктү айырмалоо, максаттуу (позитивдүү) жылдыздын үлгүсүнүн терс маалымат топтомунда болбошун камсыздоонун жөнөкөй жолу болгон, түндүк жарым шардагы жылдыздардын моделдерин түштүк асман жарым шарынын сүрөттөр топтомуна каршы үйрөтүү аркылуу. (Эгерде позитивдүү сүрөт терс сүрөттөр топтомунда болсо, ал классификатордун сапатына таасирин тийгизет).

thesis_setup дагы пайдалуу - бул Стеллариумду сүрөттөрдү тартуу үчүн ылайыктуу кылып орнотот - Космостон көрүнүштү окшоштуруу үчүн колдонулган сүрөттөр. Сүрөттү тарткыңыз келген сайын сактап калуу үчүн, менюларды, тор сызыктарын, этикеткаларды ж.б автоматтык түрдө жашыруу сыяктуу аракеттерди жасайт.

6 -кадам: Rocket Man

Мен үйрөткөн биринчи каскаддар эч кандай жылдыздын калыптарын туура аныктай алган жок. Алар өтө ишеничсиз жана жалган позитивдерге өтө жакын болушкан. Менин божомолум боюнча, натыйжалуу Stellarium жылдыз талаасындагы сүрөттөр (негизинен кара фондо ак чекиттер) классификаторлорду ийгиликтүү окутуу үчүн HAAR тибиндеги жетишерлик өзгөчөлүктөрдү камтыган жетиштүү визуалдык маалыматты камтыган эмес. Менимче, түн бир оокум болду, бирок мен кичинекей эскиз сүрөттү жылдыздын талаасындагы сүрөттөгү ар бир жаркыраган жылдыздын ордуна автоматтык түрдө жайгаштыруу программасын жазуу идеясын сынап көрүүнү чечтим.

Элтон

Бул акылсыз сыноо болчу, бирок Элтон Джондун жүзүнүн кичинекей сүрөтүн ар бир жарык жылдыз жайгашкан жерге кошуп, классификаторду ушул позитивдүү сүрөткө үйрөтүп, анан каскаддарды баштапкы сүрөткө каршы иштетүү менен, аны туура табууда алда канча эффективдүү болгон. туура үлгү. Мен бир нерсеге умтулгандыгымды билдим!

7 -кадам: Ишенимдүү маркерлер

"Элтонс" теорияны далилдесе да, мага толук айлануу симметриясына ээ болгон маркер керек болчу, ошондо жылдыздын үлгүсү кандай багытталганына карабай бирдей көрүнөт. Мен маркердин бир катар түрлөрүн сынап көрдүм, жана оң жактагы оң жактагы карама -каршы ак жана ак шакектери менен эффективдүү экени аныкталды. GitHub репонун оң папкасында берилген питон программасы, берилген сүрөттөгү эң жаркыраган жылдыздар кантип аныкталганын көрсөтөт жана бул маркерлер автоматтык түрдө ошол позицияларда капталган. Биз азыр үйрөтүлө турган негизги жылдыздардын үлгүлөрүнүн өкүлчүлүгүн түздүк.

8 -кадам: Каскаддарды колдонуу

Каскаддар топтомун үйрөткөндөн кийин, сиз аларды сүрөттөгү объектти аныктоо үчүн кантип колдонууну билишиңиз керек!

GitHubдын Star Identification папкасын караңыз, анда сиз cascade_test19.py программасын таба аласыз. Бул укмуштуудай программа берилген папкадан каскаддардын топтомун алат жана алардын бардыгын киргизүү сүрөтүнө каршы жүргүзөт жана жасалган табылгалар жөнүндө отчет берет. 'DetectMultiScale' функциясы мунун өзөгү болуп саналат жана аныктоо процессин аныктоочу ар кандай аргументтерди талап кылат. Буларды өзгөртүү каскаддык классификатордун иштеши үчүн абдан маанилүү жана бул жөнүндө көбүрөөк талкууну кийинки кадамда тапса болот, анда биз жалган позитивдерди кантип жок кылууну карайбыз.

Бул спутниктик багыттоо тутумунда чектөө кутучасынын борборундагы пикселдик маанини аныкталган жылдыздын паттеринин Ra/Dec асман координатына салыштырып, анан муну сүрөттүн борборунан бурчтук жылышууга салыштыруу аркылуу колдонсо болот. огу). Ушундан улам, линзанын бурмаланышы жөнүндө түшүнүктү колдонуу менен (гномондук проекцияга жакын) спутниктин бурчун эки гана оң аныктамадан табууга болот.

9 -кадам: Жалган позитивдер жөнүндө кантип позитивдүү болуш керек

Бул эки сүрөт каскаддын жыйындысын бирдей сүрөттө, бирок ар кандай параметрлер менен текшерүүнүн жыйынтыгын көрсөтөт. Ооба, биринчи сүрөттө чыныгы идентификация бар, бирок жалган позитивдердин саны көп, ал эми экинчи сүрөттө туура идентификация бар.

GitHub репонун Star Identification папкасындагы cascade_test19.py программасы натыйжаларды иреттөө үчүн эки ыкманы колдонот. Биринчиден, detectMultiScale функциясы табылган натыйжанын Miminum жана Maximum өлчөмүн белгилейт, бул акылга сыярлык, анткени терезенин ичиндеги максаттуу жылдыздын үлгүсүнүн болжолдуу өлчөмү (берилген линза жана чоңойтуу үчүн - менин симуляцияланган Stellarium сүрөттөрүм Raspberry Pi V2 Камерасы) белгилүү. Экинчиден, код эң чоң чектөө кутучасы бар натыйжаны тандайт (мурунку чектерде). Тестирлөөдө бул чыныгы позитив экени аныкталды. Үчүнчүдөн, программа минималдуу 'levelWeights'ти (эффективдүү' ишенимдүүлүк ') аныктайт, ал бул IDге чыныгы позитивдүү мамиле кылуу үчүн керек. Бул ыкма менен каскаддар туура жыйынтыкты табууда эффективдүү болгон.

Жылдыз талаасындагы сүрөттөр сыяктуу эле, мен муну, мисалы, менин столумдун сүрөттөрүнө каршы текшерип көрдүм, дептеримди, кружкамды ж. Жогорудагы ыкмалар шыктандыруучу болгон бардык шарттарда жакшы иштеген.

10 -кадам: Талкуу

Жакшыртуу үчүн аймактар

Бул мен үчүн татаал долбоор болду жана бул теманы түшүнүүгө түрткү болду. Бул долбоорду ушул убакка чейин жеткирүү үчүн бир нече айга жакын толук убакыттуу жумуштарды камтыган, бирок мен методдун иштешин жакшыртуу үчүн дагы көп иштерди жасашым керек. Белгилүү болгондой, ал белгилүү бир чектөөлөрдүн ичинде жакшы иштей алат. Мен кайсы аймактар кошумча жумушка муктаж экенин аныктоо үчүн иштедим жана үмүт кылам, кийинки айларда бул маселелерди чечүүгө убакыт бөлө алам. Алар:

Бурч - Бул татаал аймак, классификаторлордун жыйынтыктары ротациялык өзгөрүүсүз болушу керек деген ой, башкача айтканда, максаттуу жылдыз паттерин камтыган сүрөттү берилген бурчка карабай, ишенимдүү түрдө максаттуу жылдыздын үлгүсүн аныкташы керек. Киргизүү сүрөтүн бир багытта үйрөтүлгөн каскад бул сүрөттү рандомизацияланган багытта аныктай албайт, андыктан кириш бурчтары боюнча диапазонду кабыл ала турган каскаддарды даярдоо үчүн окуу процессине оң бурчтун дисперсиясын киргизүү керек. Каскаддык окутуу командаларындагы 'maxzangle' параметри радиандардын аргументин алат, бул бурчтун чегин көзөмөлдөйт, бул оң позитив берилген терс сүрөттөргө жабылат, андыктан алынган оң сүрөттөр топтому бир катар багыттарды камтыйт. позитивдүү сүрөт. Бирок, бул maxzangle көбөйгөн сайын каскаддын кабыл алуу коэффициенти (кеңири айтканда, сапаты) кескин төмөндөйт. Менин оюмча, чечим каскаддарды терс сүрөттөрдүн бир кыйла чоң маалымат базасын колдонуп, жакшы сапаттагы каскаддык классификаторду чоң багытты жайылтуу менен түзүүнү камсыз кылуу үчүн даярдоо деп эсептейм.

Дагы бир потенциалдуу чечим белгилүү бир максат үчүн бир катар каскаддарды үйрөтүү болмок, ар бир каскад толук 360 градуска айлануунун белгилүү бир бөлүгүн башкарат. Ошентип, ар бир каскаддын сапатын жогорку деңгээлде сактоого болот, бирок экинчи жагынан бул алда канча көп каскаддарга алып келет, демек идентификация процесси жайыраак болот.

'DetectMultiScale' функциясы тарабынан берилген 'levelWeight' параметри, аныктоодо ишенимдин маанисине окшош. Муну изилдеп, жогоруда көрсөтүлгөн график түзүлдү, ал сүрөттүн багыты эки тарапка тең жогорулаган сайын позитивдүү идентификация ишениминин кескин төмөндөгөнүн көрсөтөт, бул алсыз чекит деген ойлорду тастыктайт.

Пикселди жайгаштыруу - Бир кыйла жөнөкөй, бирок көйгөйлүү жагдай - бул эки жылдыздын жеке пикселдери ачык көрүнүшү үчүн, жылдыздын сүрөтүнүн чоңойтулган көрүнүшүн көрсөткөн, төмөнкү эки сүрөт менен сүрөттөлгөн пикселдин жайгашуусу. Программада эң жаркыраган жылдыздардан башкасынын бардыгын тазалоо үчүн колдонулган эрозия процесси биринчи жылдызды сактап калат, экинчисин бирдей жарыктыгына карабай жок кылат. Мунун себеби, биринчи жылдыз пикселдин борборунда, экинчиси андай эмес. Эрозия функциясы топтун борбордук пикселинин тегерегиндеги пикселдердин концентрдүү шакектерин ажыратат, ошондуктан биринчи жылдыз эрозия функциясынан аман калат, бирок экинчи жылдыз сүрөттөн толугу менен алынып салынат. Ошентип, ишенимдүү маркерлер экинчи жылдызга эмес, биринчи жылдызга гана коюлат. Бул кайсы бир жылдыз талаасындагы жаркыраган жылдыздар маркерлерди ала тургандыгына байланыштуу карама -каршылыктарды пайда кылат (демек, үйрөтүлгөн классификаторлор менен салыштырылат) - демек туура позитивдүү байкоо жүргүзүү мүмкүн эмес.

11 -кадам: Акыркы сөз

Менин көрсөтмөлөрүмдү окуганыңыз үчүн рахмат, бул долбоор сизге кызыктуу болду деп ишенем. Анын үстүндө иштөө абдан кызыктуу процесс болду, мен концепциянын үстүндө иштей баштаганыма бир жылдан ашты, мен ушул убакка чейин жыйынтыктар менен шыктандым. Мен окуган адабияттан, бул абдан оригиналдуу түшүнүк, жана аны өркүндөтүү менен, албетте, ышкыбоздук астрономияга же андан көп колдонмолорго колдонсо болот.

Бул долбоор мен үчүн кескин үйрөнүү ийрими болду, ошондуктан мен көбүрөөк программалоо тажрыйбасы бар кээ бир окурмандар GitHub баракчасы аркылуу долбоордун уланышына салым кошууга шыктандырылышы мүмкүн деп үмүттөнөм жана биз бул ачык булак куралын өнүктүрүүнү уланта алабыз. Мен сиз каалаган комментарийлерди чыдамсыздык менен күтөм, бирок өтө оор суроолорду бербеңиз!

Космос чакырыгында Runner Up