Advanced Vision Face Shield for Public Safety (Time-of-Flight)

Projektin tavoitteena oli luoda prototyyppi Savox Communications Oy:lle Time-of-Flight -kameraan perustuvasta lisättyä todellisuutta hyödyntävästä visiiristä, joka mahdollistaisi kohteiden tunnistamisen savun täyttämässä tilassa.

Tavoite

Projektin tavoite oli tuottaa prototyyppi, joka kurssin puitteissa osoittaisi kehittyneen näkötehoste-kasvosuojan mallin toimivuuden ja potentiaalin. Toimivuuden osalta halusimme osoittaa mahdollisuuden tuottaa laite, jonka avulla visuaalista dataa voidaan käsitellä, sekä saada käyttäjän näkyville selkeästi ja merkityksellisesti. Keskeisiä osa-alueita toimivuudessa olivat: informaatiota keräävät komponentit ja niiden soveltuvuus tehtävään, ohjaimen ja prosessorin kyky käsitellä ja siirtää tuotettua informaatiota kohti lopullista päämäärää, käyttäjälle informaatiota esittävän laitteen selkeys ja helppokäyttöisyys, sekä valmiin kypärän muotoilu ja käyttömukavuus. Prototyypin puitteissa tämä tarkoitti ToF-kameran keräämää syvyysdataa ja sen selkeää asettamista käyttäjän silmien näkemän ympäristön päälle päässä olevan kypärän kautta.

Potentiaalin osalta halusimme osoittaa, että käyttäen isompaa budjettia ja keskittyen nousevien teknologioiden tarjoamiin mahdollisuuksiin, laitteen toimivuutta voitaisiin parantaa merkittävästi. Työ potentiaalin ilmasemiseksi tapahtui ajatustyöllä ja sen ylös kirjaamisella. Näin varmistettiinm että vaikka kaikkia ominaisuuksia ei voitu toteuttaa tämän projektin aikana, saatiin kaikki ajatellut vaihtoehdot ja ideat talteen, jotta niitä voidaan hyödyntää tulevaisuudessa.

Kehitystyö

Tekninen toteutus

Time-of-Flight-kamera

Projektin alun yksi suurimpia haasteita oli löytää prototyyppiin sopiva kamera. Suuren resoluution ToF-kameroita on kyllä markkinoilla, mutta useassa laitteessa hinta oli liian korkea. Lisäksi kameran piti tukea joko I2C- tai UART-tiedonsiirtoprotokollaa yhteensopivuuden varmistamiseksi.

Perusteellisen vertailututkimuksen jälkeen projektin kameraksi valittiin Espros Photonics Corporationin TOFcam-635, jossa oli etuina mm. 160 x 60 pikselin resoluutio, jopa 50fps kuvanopeus 5V käyttöjännite sekä UART-liitäntä 10MBit/s nopeudella.

Keskusyksikkö

Prototyyppi on rakennettu Teensy 3.6 -mikrokontrollerin ympärille. Alunperin tämä malli valittiin, koska Teensy 3.6:een oli saatavilla toimivaksi todettu VGA-kirjasto, joka vauhditti alkuperäisen näyttölaitteen (mikroprojektori) testivaihetta. Myöhemmin päivitystä uudempaan Teensy 4.0:aan koetettiin, mutta järjestelmää ei saatu toimimaan uudemmalla ytimellä yhtä vakaasti.

Ohjelmisto

Ohjelmisto toteutettiin C:llä, joka on Arduino ja Teensy -mikrokontrollerien pääaseiallinen ohjelmointikieli. Komentotulkkina käytettiin Arduino IDE:a. Ohjelmistossa on kameran ohjauskomentoja, joilla poimitaan kameralta jatkuvana striiminä matriisi kameran kennon lukemista etäisyyksistä millimetreissä eri pisteissä sekä näiden luotettavuusarvot joka mittauspisteelle erikseen. Ohjelmisto skaalaa saatujen mittauspisteiden arvot välille 0-5 metriä ja merkitsee kunkin pisteen ennakkon määritetyn väriskaalan mukaisesti tietyllä etäisyydellä olevaksi. Tämän jälkeen saatu värikuva tulostetaan näyttöyksikölle. Tämän lisäksi ohjelmisto ilmoittaa keskimmäisen pisteen etäisyyden käyttäjästä sekä kuluneen ajan yksikön päällekytkemisestä.

Ohjelmiston avoimen lähdekoodin löytää projektin GitHubista: Protopaja2020-P6.

Näyttölaite

Näyttölaite koki projektin aikana useita kehitysaskeleita. Alkuperäinen idea oli rakentaa kuvaprojektioon perustuva AR-HUD-näyttö, käyttäen hyväksi 3M:n valmistamaa MPro 150 pico projektorin projisointilaitetta, optista linssiä sekä peilejä signaalin heijastamiseksi silmän verkkokalvolle. Tämä ratkaisu kuitenkin hylättiin myöhemmin projektorin asettamien kokorajoitteiden vuoksi.

Lähes koko projektin ajan yritimme saada käyttöömme jonkin kaupalliseen vaiheeseen ehtineen AR-tuotteen siinä kuitenkaan onnistumatta. Osa näistä projekteista oli selvästi vasta prototyyppivaiheessa, toisia sai jo varastotuotteena. Useimmiten vastaan tuli kuitenkin joko tuotteen hinta tai projektin aikataulu: jotkin näyttöyksiköt maksoivat kymmeniä tuhansia euroja, toiset olisivat olleet valmiita testaukseen loka-marraskuussa 2020.

Kun projektorilla tuotettavasta heijastuksesta luovuttiin, päätettiin siirtyä näyttölaitteessa perinteisempään näyttöpaneelilla tuotettuun HUD- eli  heijastusnäyttöön. Aluksi heijastusta kokeiltiin tarkoitusta varten Canonin EOS järjestelmäkamerasta puretulla puoliläpäisevällä peilillä, joka normaalisti mahdollistaa kameran automaattitarkennuksen toiminnan. Tässä koeversiossa linssin virkaa toimitti diafilmin luupista lainattu purettu 10X-suurentava optiikka, jonka läpimitta oli 35mm ja polttoväli 25mm.

Video HUD-laitteen toiminnasta

Lopullisen prototyypin näyttölaite rakennettiin Adafruitin 3533 väri TFT-paneelin, Carl Zeiss Jena GF-P10x /18 mikroskooppiokulaarin ja Teknofokus Oy:ltä saadun dielektrisen peilin avulla. Carl Zeissin optiikka valikoitui käyttöön erinomaisen kompaktin polttovälinsä ansiosta, sekä siksi että sellainen sattui eräältä oppilaalta löytymään. Virtalähteenä laitteessa on vyölle asennettava LI-akku, josta jännitteenalennin tuottaa tasaista 5V käyttöjännitettä kaikille järjestelmän laitteille.

 

Design

Tämän tuotteen käyttäjät ovat etenkin palomiehet sekä muut pelastustyöntekijät. Lopullinen tuotteen käyttötarkoitus on olla avustava työkalu savusukeltamisessa, joka on yksi vaativimmista työtehtävistä jonka pelastustyöntekijä joutuu suorittamaan.  Käyttäjävaatimukset, jotka asettuvat erityisesti tälle tuotteelle ovat helppokäyttöisyys, mukavuus ja turvallisuus. Laite on saatava puettua mahdollisimman nopeasti ja kytkettävä päälle ilman erityisiä ongelmia. 

Tuotteen mukavuudella on myös tärkeä rooli. Varusteisiin liittyy myös monta muuta suojavarustetta, jotka tuottavat painoa ja vaikeuttavat työntekijän liikkuvuutta pimeässä, ahtaassa ja kuumassa tilassa. Tämän tuotteen tulisi edistää työn mukavuutta työssä, jota suoritetaan todella haastavissa olosuhteissa. 

Tämän projektin yhteydessä on tehty vertailuanalyysiä jo markkinoilla olevista tuotteista, joka täyttää samanlaisia käyttötarkoituksia. Prototyypin ja konseptin kehityksessä on käytetty tuplatimantti menetelmää ongelmien ratkaisua varten. Ensin on kartoitettu mitkä ovat ongelmat. Tässä tapauksessa yksi iso ongelma on ollut AR laitteiston sovittaminen erittäin kompaktiin tilaan. Helpottaakseen suunnitteluprosessia käytettiin mallinnuksessa päämallia, joka on kehitetty skannaamalla ja mittaamalla yli 3000 eri päätä. Tämän avulla on pystyimme tuottamaan maskin sekä kypärän, johon voimme soveltaa kyseistä laitteistoa ilman suuria sovitusongelmia.

Prosessi aloitettiin luonnostelun kautta sekä tutkimalla jo käytössä olevia kypäriä ja maskeja. Kypärän ja maskin suunnittelu- ja mallinnustyö tehtiin Solidworksissa.

Lopputulos

Projekti saatiin päätökseen ja kypäräkamera testiin sopivasti juuri ennen prototyyppien esittelytilaisuutta. Kokonaisuutena voidaan katsoa että projekti oli onnistunut: osoitimme että käyttäen olemassa olevaan tekniikkaa on mahdollista rakentaa edullinen ToF-teknologiaan perustuva kypäräkamerajärjestelmä joka tuottaa käyttäjälleen informaatiota ympäristöstä lisätyn todellisuuden avulla. Kokonaisuutena prototyypin hinnaksi tuli noin 500€: tämä on vähemmän kuin edullisimmat kaupalliset AR-näyttöpäätteet kustantavat. Tulevaisuuden kehitystä varten laitteen tehoa voidaan nostaa käyttämällä tehokkaampaa keskusyksikköä, muuttaa kuvantamisteknologia ToF-kamerasta SolidState LiDAR-sensoriin ja parantaa AR-kokemusta suunnittelemalla näyttölaitteen optiikan itse alusta loppuun.

Prototyypin esittelyvideo

Projektin työryhmä

 

Tietoja projektista

Yhteistyö

Projekti toteutettiin Savox Communications Oy:lle ja osana Aalto yliopiston kesäkurssia, ELEC-D0301 Protopaja.

Lisenssi

Lähdekoodi: MIT-license
Muu materiaali: Creative Commons (CC BY 4.0)

Linkit

GitHub
Loppuraportti
3d-piirustukset (Solid Works objekteja, pakattuna ZIP-tiedostoksi)