Laadusta kilpailukykyä konenäöllä (LAAKI)

Laaki PoC1-loppuraportti

PoCin lähdekoodeja GitHubissa

PoCissa käydään hyvin tarkasti läpi perinteisen, kuvaan perustuvan konenäön laitteita sekä parametreja ja niiden vaikutusta kuvan ottamiseen, analyysiin ja erityisesti erottelukykyyn pieniä kappaleita kuvattaessa. Tutkittavat kappaleet ovat hankealueella toimivan metallialan yrityksen tuotteen osia, joissa mittatarkkuudella suuri merkitys. PoCilla tutkittaan mahdollisuutta automatisoida kyseisten kappaleiden laadunvalvonta. PoC toteutettiin hankealueella toimivalle metallialan pk-yritykselle.

Laaki PoC2-loppuraportti

PoCissa käydään läpi syvävedettyjen levykappaleiden mahdollisten virheiden tunnistamista profiiliskannerin avulla eri menetelmin. Profiiliskannerin toiminta-alueen laajentamista varten laite on integroitu yhteistyörobottiin ja robotti kommunikoi ja käskyttää kameraa socket-rajapinnan kautta. PoC toteuttiin Relicomp Oy:lle.

PoCissa toteutettiin eri leikkelepakkausten tunnistaminen etiketin piirteiden pohjalta, koska kaikissa etiketeissä ei ollut yksilöivää viivakoodia näkyvillä. PoCissa keskeistä oli myös valaista, että kiiltävä muovipinta ei häiritse etiketin paikoitusta ja piirteiden analysointia. Oleellista oli myös pyrkiä optimoimaan analyysiaikaa, koska tuotteita voi tulla nopeallakin tahdilla kameralle ja analyysi pitää olla valmis ennen seuraavaa kappaletta. PoC toteutettiin Kometos Oy:lle.

PoCissa tutkittiin alumiiniprofiilien laatupoikkeamien tunnistamista Deep Learning (syväoppiminen) -menetelmällä. Menetelmä soveltuu erityisesti kohteisiin, joissa poikkeamat eivät ole säännönmukaisia. Menetelmän käyttöönotto vaatii Deep Learning -mallin opettamista opetuskuvilla. Käytetyn ohjelmiston (MVTech Merlic) menetelmä perustuu hyvien kappaleiden opettamiseen ja muutamalla poikkeamakuvalla voidaan parantaa mallin tarkkuutta. PoC toteutettiin Mäkelä Alu Oy:lle.

Laaki PoC4-loppuraportti

PoCissa tutkittiin levymäisten kappaleiden tunnistettavuutta 3D-kameralla ja edelleen poimittavuutta robotilla ja magneettitarttujalla. Koneenpalvelussa yksi haaste voi olla satunnaisessa järjestyksessä esim. kauluslavalla olevat kappaleet, jotka tulisi poimia automaattisesti robotilla ilman kappaleiden erillistä asettelua. Tähän haasteeseen soveltuvat hyvin 3D-kamerat, koska niillä saadaan poimittavien kappaleiden paikka ja orientaatio selville 3D-avaruudessa. PoCissa käytettiin Pickit M-HD2 -3D-kameraa ja UR-10-yhteistyörobottia. PoC toteutettiin opinnäytetyönä.

Linkki opinnäytetyöraporttiin

PoC-prosessi tarkoittaa sitä, miten konenäön soveltamista laadunvalvonnan näkökulmasta kannattaa lähteä arvioimaan ja toteuttamaan.

Oma arviointi ennen mahdollisten kumppanien tai toimittajien mukaantuloa

• Konenäön soveltaminen ja käyttöönotto ei välttämättä aina ole ongelmatonta. Toimintaympäristöllä ja ylläpidolla on vaikutus järjestelmän toimintaan. Jos tuotteita on paljon erilaisia, niin kannattaa aloittaa konenön soveltaminen esimerkiksi volyymituotteista ja laajentaa kokemusten ja osaamisen myötä muihin tuotteisiin ja kohteisiin.
• Konenäkö soveltuu pääsääntöisesti suhteellisen vakioon toimintaympäristöön, jossa tarkasteltava materiaalivirta kulkee tai käy yhden pisteen kautta. Jonkin verran vaihtelua esimerkiksi kohteen paikan ja orientaation suhteen voi olla.
  1.  Onko materiaalivirta vakio ja tarkastelta kohde kulkeen yhden pisteen kautta?
  2.  Jos ei kulje, niin voidaanko se kustannustehokkaasti järjestää?
  3. Onko järjestelmälle olemassa fyysinen tila (kuvan ottaminen vaatii yleensä jokatapauksessa etäsyyttä kohteeseen)
• Konenäön soveltamiseen liittyy yleensä valaistus ja sen järjestäminen onkin aivan avainasemassa onnistuneen konenäkösovelluksen toteuttamisessa. Toisaalta jotkin konenäkömenetelmät, kuten laservaloon perustuvat ratkaisut, eivät ole niin valaistukriittisiä. Valaistuksella on käytännössä kaksi tehtävää: Vakioida valaistusolosuhde siten, että riippumatta ulkopuolisen valaistuksen (kattovalot, auringon paiste jne.) muutoksesta, sovellusympäristön valaistusolosuhde ei muutu. Toinen valaistuksen tehtävä korostaa kuvassa tutkittavan kappaleen tai piirteen kontrastieroa suhteessa taustaansa.
  1.  Voidaanko kohteeseen järjestää erillistä valaistusta tai sovelluksen kotelointia kokonaan tai osittain?
     1. Konenäkövalaistus ratkaisut ovat verrattain vähän tilaa vaativia, mutta valaisimia saatetaan tarvita useampia ja tutkittava kohde ja ympäristö määrittelevät tarvittavan valaisingeometrian ja -määrän.
• Lähtökohtaisesti tutkittavan laatupoikkeaman tulisi olla silmillä nähtävissä, normaalissa valossa. Tällöin on edelletyksiä onnistua myös konenäölläa. Jossain määrin voidaan hyödyntää myös ihmissilmälle näkymättömiä valon aallonpituusalueita (infrapuna, ultravioletti). Nykyään tekoälypohjaiset konenäkömenetelmät eivät välttämättä vaadi, että mahdollinen laatupoikkeama olisi aina samanlainen ja samassa osaa kappaletta. Joitakin asioita tutkittavien laatupoikkeamien osalta on syytä kuitenkin pohtia.
  1.  Onko laatupoikkeama aina samanlainen tai onko niitä useampia erilainen, mutta ne ovat kuitenkin määriteltävissä esim. mittapoikkeamiin, osien puuttumiseen, pintavirheisiin vakioilla muodoilla vakioissa paikoissa jne.?
     1. Nämä eivät poissulje konenäön sovellettavuutta, mutta vaikuttavat menetelmän valintaan ja siksi ne ovat tärkeää määritellä ja pohtia auki.
  2.  Onko poikkeamat aina kameran kuva-alalla vai tarvitaanko useampi kamera tai kappaleen kääntö?
  3. Mikä on tahtiaikavaade?
• Mikä on koko projektin tavoite?
  1. Haetaanko suoraan kustannusvaikusta ihmisen tekemän työn automatisoinnille?
  2. Haetaanko välillistä kustannusvaikutusta laadun kehittymisen kautta?
  3.  Mikä on pilotoinnin budjetti ja minkälaisia takaisinmaksuodotuksia projektille haetaan?

Tämän kaltaisia seikkoja on hyvä arvioida jo ennen prosessin eteenpäin viemistä tai ainakin pyrkiä selvittämään näitä asioita. Usein nämä asiat selkeyttävät myös toteuttajan tekemistä ja he pystyvät määrittelemään tekemistään paremmin ja oikeaan suuntaa.

Seinäjoen ammattikorkeakoulun tiloissa on LAAKI-hankkeen tuloksena syntynyt kehitysalusta, jossa eri sidosryhmille voidaan tarjota konenäön käyttöönottoon ja soveltamiseen liittyviä palveluja, kuten Proof Of Concept -pilotteja. Tarpeesta riippuen projekteja voidaan viedä läpi pelkästään asiantuntijavetoisesti maksullisena palvelutoimintana jolloin projektin aikataulutus ja kustannus katsotaan aina tapauskohtaisesti asiakkaan kanssa. Toinen vaihtoehto on erilaiset opiskelijavetoiset työt, kuten opinnäytetyöt ja opiskelijaprojektit, joissa tekijä voi olla yksittäinen opiskelija tai opiskelijaryhmä. Kolmas vaihtoehto on osallistua soveltuviin julkisrahoitteisiin hankkeisiin, jolla tätäkin ympäristöä on kehitetty ja osallistuvia yrityksiä on pyritty tukemaan erilaisissa tarpeissa.

Tämän hetkinen laitekanta:

• 2, 5, 12 Mpix älykamerat (Cognex, Omron)
  • Älykameroilla päästään nopeasti testaamaan, koska ohjelmisto on integroituna kameraan ja analyysiohjelmistot ovat usein graafisia ohjelmointiympäristöjä, jolla perusohjelman tuottaminen on nopeaa.

• 2–12 Mpix matriisikamerat (Basler, Hikvision)
  • Matriisikameroilla ovat ns. peruskameroita, joissa ei ole varsinaista älyä pl. kuvanottoon ja tiedonsiirtoon liittyvää toiminnalisuutta. Etuna on halpa hinta ja laaja tarjonta erilaisiin tarpeisiin. Kameran käyttö ja analyysi vaatii erillisen ohjelmiston.

• Profiiliskanneri (LMI)
  • Profiiliskannerilla voidaan tehdä tarkkojakin mittauksia kappaleen pinnasta, joko yksittäistä profiilia tarkastellen tai tallentamalla liikkuvasta kohteesta pistepilven ja analysoimalla sitä.

• Älykamera-ABB-integraatio
  • Konenäkö sovelletaan usein robotiikan yhteydessä paikoitukseen. Tässä tapauksessa integraatio on tehty ABB:n ja Cognexin välillä.

• Yhteistyörobotiikan käsivarsikamera
  • Yksinkertaisiin paikoitustehtäviin voidaan käyttää UR:n laippaan suunniteltua, kompaktia käsivarsikameraa.
• Usean polttovälin optiikat
  • Optiikalla voidaan vaikuttaa kuva-alaan ja kuvausetäisyyteen, jolloin niillä on konenäössä tärkeä rooli.
• Erilaisia valaistus- ja suodatinratkaisuja
  • Valaistus on yksi konenäön keskeisimpiä hallittavia asioita. Sillä toisaalta korostetaan tutkittavia piirteitä, mutta pidetään myös valaistusolosuhde vakiona, jolloin koko sovelluksesta saadaan luotettava. Ympäristössä on lukuisia erilaisia valaistusratkaisuja sekä optiikkaan liitettäviä suodattimia optimaalisen olosuhteen testaamiseen.
• PLC-pohjainen konenäkö (Twincat) ja sulautetut konenäköjärjestelmät
  • Mahdollisuus soveltaa PLC-pohjaista konenäköä osana automaatiojärjestelmää. Lisäksi erilaisia sulautetun konenäön järjestelmiä, kuten Nvidia Jetson ja Raspberry Pi -alustat.
• Ohjelmistoja:
  • Cognex In-Sight
  • MVTec Merlic
  • Omron
  • Open CV

Hankkeessa toteutetut Proof of Concept -pilotit koskevat aitoja ja yrityslähtöisiä ongelmia ja niiden ratkaisuja. PoCit tuottavat yleensä ensikäden tuloksen, jolla valitun menetelmän ja teknolgian soveltuvuus todennetaan asiakkaan tarpeen ratkaisemiseen. Tuotantovalmiista ratkaisusta ei ole kysymys, mutta PoCin avulla asiakas saa varmuutta ja näkemustä mahdollisen investoinnin onnistuneeseen läpiviemiseen.

Kuvan mukaisesti prosessi noudattelee seuraavia toimenpiteitä:

1. Yritysanalyysi, jossa kartoitetaan yrityksen tarpeet. Mikäli yrityksellä ei ole täysin selkeää kohdetta, niin voidaan analysoida myös yrityksen tuotantoa mahdollisten laadunvalvonnan automatisointikohteiden osalta.
2.  Yritysanalyysin jälkeen alkaa toimivan teknologisen ratkaisun ja menetelmän hakeminen yhteistyökumppanin kanssa. Konenäkökehityksessä toimivan ratkaisun kehittäminen vaatii usein paljon testaamista, jolloin esimerkiksi LAAKI-hankkeessa syntynyt kehitysalusta palvelee tarkoitusta erinomaisesti.
3. Kehitetystä ratkaisusta tuotetaan asiakkaalle tarvittavat materiaalit. Näiden avulla asiaa voi olla helppo edistää integraattorin kanssa tai konenäköratkaisuja myyvien tahojen kanssa. Lisäksi PoCien aikana ymmärrys teknologiasta ja sen eduista/rajoitteesta kasvaa, jolloin on helpompi lähteä viemään asiaa eteenpäin.