Se verden gennem computer vision med Mapillary

Det crowdsourcet street view billedeprojekt Mapillary har i over et år haft algoritmer kørende, der autogenkender trafikskilte, dette output har fx frivillige i OpenStreetMap lov til at bruge for at forbedre OpenStreetMap.

Mapillary har nu yderligere udvidet dette koncept med genkendelse af flere typer af objekter fra de crowdsourcet billeder. Nu giver Mapillary os et større indblik i, hvad computer vision er for en størrelse. Kort fortalt, så er computer vision et tværfagligt forskningsområde, der drejer sig om at trække meningsfyldte informationer ud fra digitale billeder. Den helt store våde drøm er, at dette skal ske helt automatisk og det kræver så en del machine learning og algoritmer at nå dertil.

Lad os hoppe i og se hvad det er konkret Mapillary lige har sat i værk. Prøv at gå til dette Mapillary billede i Rådhusstræde i København. Klik på det der filterikon oppe og en ny menu dukker op (se billedet nedenfor). Klik på knappen ved “Segmentation” > “Show identified photo features“.

Mapillary filter

Nu dukker en ny menu op (se billedet nedenfor) “Segmentations” med en liste af forskellige typer af objekter som Mapillary har sat deres algoritmer op til at genkende i billederne.

Mapillary filter

Prøv fx at køre din mus over “Manmade Struture” [er primært bygninger] og nu vil der i din Mapillary webside blive markeret, hvad algoritmen betragter som værende denne type objekt.

Mapillary filter

Du kan lade musen kører over “Sky” og nu vil der blive vist hvad der er betraget som skyer/blå himmel i billedet (vist i billedet nedenfor).

Mapillary filter

Du kan nu prøve at gå til Egernets Kvarter i Ballerup i Mapillary og slå filter til igen. Prøv at køre musen over “Road User” – det vil markerer ud hvad der optager vejen, hvilket som regel er biler/lastbiler, men jeg har også set andre steder at cykler vil markeret ud. I billedet nedenfor fra Ballerup er det bilerne der bliver markeret ud som genkendt af algoritmen.

Mapillary filter

Prøv også “Tree” og træer i billedet vil blive markeret ud. Netop træer er lidt interessant. Lad os forestille os at 4 gange på et år kommer Mapillary bidragsydere forbi og tager billeder, og hvis man så har fældet bytræer, og man har et før og efter Mapillary billede, så kunne man på sigt have algoritmer, der ser på forskelle i tid, og i casen med træer så vil man kunne se, hvor der der blevet fældet træer eller hvor er der sat nye træer op. Dette kan også udvides til nye bygninger eller bygninger der er revet ned.

Mapillary filter

Som sagt ovenstående funktioner er lige gået i luften, og det er ikke alle steder Mapillary har rullet dette algoritmefilter ud, men har du bidraget til Mapillary, så tjek om ovenstående er rullet ud i dit område. Nu er disse Mapillary algoritmer ikke helt perfekte fx på S-tog stationer hvor der er mange objekter i billederne, er der en del fejlgæt af algoritmerne. Dette bliver bedre jo flere billeder der bidrages med samt feedback på algoritmerne. Feedback kunne bestå i at brugerne fx siger “Ja/Nej” til et algoritmegæt på en bestemt type objekt og ad den vej træner algoritmen til at blive bedre.

Hvis du ser på billedet oppe af menuen “Segmentations“, så er der et punkt der hedder “Your Own Class“. Denne virker ikke endnu, men det er her du selv kan bygge dine egne algoritmer op. Du vil fx have algoritme til genkendelse af bænke, brandhaner eller lygtemaster. Hvis vi tager lygtemaster som en algoritmecase, så vil træning af algoritmen bestå i, at du finder en masse billeder af lygtemaster i Mapillary og markerer dem ud. Når det er gjort går algoritmen i gang og du begynder at se algoritmens gæt, og her skal du så give feedback tilbage, hvilket er typisk “Ja/Nej” til gættet.

Jeg ved ikke helt, hvornår dette med egne algoritmer går i luften hos Mapillary samt om man kan dele algoritmer, så fx hvis man er 10 personer i 10 lande, der træner en fælles algoritme op til at genkende fx lygtemaster som nævnt før. Jeg hører, at nogle er interesseret i at have overvågningskamera algoritmer “surveillance of surveillance” til at spotte disse i det offentlige rum.

Jeg synes, at Mapillary har gjort et interessant tiltag her med at bringe machine learning ud til en bredere kreds end lige computernørder. Jeg kunne forestille mig at en skoleklasse som undervisningscase i faget geografi havde deres egen fælles algoritme, som de træner op. Skoleklassen kunne så starte med at få crowdsourcet en masse billeder til Mapillary via deres smartphones af lokalområdet. Dernæst går de igang med at markerer objekter ud, som de vil have algoritmen til at lære. Selvfølgelig er machine learning ud fra billeder ikke perfekt endnu og skoleelevernes primære mål med sådan en case at få et indblik i, hvad machine learning går ud på. Nu har folkeskolelærere en relativ nem og gratis måde via Mapillary platformen at give eleverne noget hands-on dette (når det altså går i luften med egne algoritmer).

Skriv et svar

Din e-mailadresse vil ikke blive offentliggjort. Krævede felter er markeret med *