Image Classification with Graph Neural Networks
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: Convolutional neural networks (CNNs) are a prominent and ubiquitous part of machine learning. They have successfully achieved consistent state-of-the-art performance in areas such as computer vision. However, they require large datasets for such achievements. This is in stark contrast to human-level performance that demands less data for the same task. The question naturally arises as to whether it is possible to develop models that require less data without a significant decrease in performance. I n t his thesis, we address the above question from a different perspective by investigating whether a richer data structure could result in more learning from fewer training examples. We explore the idea by constructing images as graphs – a structure that naturally contains more information about an image than the standard tensor representation. We then use graph neural networks (GNNs) to leverage the graph structure and perform image classification. We found that the graph structure did not enable GNNs to perform well given less data. However, during the process of experimentation, we discovered that the graph topology as well as node features significantly influence performance. Furthermore, some of the proposed GNN models were not able to effectively utilize the graph structure.
AFRIKAANS OPSOMMING: Konvolusionele neurale netwerke’(CNN’s) is ’n prominente en alomteenwoordige deel van masjienleer (ML). Dié het suksesvol konsekwente ’state-of-theart’ prestasies behaal op gebiede soos rekenaarvisie. Maar, groot datastelle word benodig om sulke prestasies te behaal. Dit is in skrille kontras met prestasies op menslike vlak, wat minder data vir dieselfde taak vereis. Die vraag ontstaan natuurlik of dit dan moontlik is om modelle te ontwikkel wat minder data benodig om dieselfde standaard van werkverrigting te lewer. In hierdie tesis spreek ons die bogenoemde vraag aan vanuit ’n ander perspektief, waarby dit ondersoek word of ’n ryker datastrukture kan lei tot meer leer uit minder opleidings voorbeelde. Ons verken die idee deur beelde as grafieke te konstrueer - ’n struktuur wat natuurlik meer inligting oor ’n beeld bevat as die standaard tensor voorstelling. Ons gebruik dan grafiese n eurale n etwerke ( GNN’e) om die grafiek struktuur te benut en beeld klassifikasie uit te vo er. Ons het gevind dat die grafiek s truktuur n ie GNN’s i n s taat g estel h et om g oed t e presteer nie, gegewe minder data. Tydens die proses van eksperimentering het ons egter ontdek dat die grafiek topologie sowel as nodus kenmerke prestasie aansienlik beïnvloed. Verder was sommige van die voorgestelde GNN-modelle nie in staat om die grafiek struktuur effektief te benut nie.
AFRIKAANS OPSOMMING: Konvolusionele neurale netwerke’(CNN’s) is ’n prominente en alomteenwoordige deel van masjienleer (ML). Dié het suksesvol konsekwente ’state-of-theart’ prestasies behaal op gebiede soos rekenaarvisie. Maar, groot datastelle word benodig om sulke prestasies te behaal. Dit is in skrille kontras met prestasies op menslike vlak, wat minder data vir dieselfde taak vereis. Die vraag ontstaan natuurlik of dit dan moontlik is om modelle te ontwikkel wat minder data benodig om dieselfde standaard van werkverrigting te lewer. In hierdie tesis spreek ons die bogenoemde vraag aan vanuit ’n ander perspektief, waarby dit ondersoek word of ’n ryker datastrukture kan lei tot meer leer uit minder opleidings voorbeelde. Ons verken die idee deur beelde as grafieke te konstrueer - ’n struktuur wat natuurlik meer inligting oor ’n beeld bevat as die standaard tensor voorstelling. Ons gebruik dan grafiese n eurale n etwerke ( GNN’e) om die grafiek struktuur te benut en beeld klassifikasie uit te vo er. Ons het gevind dat die grafiek s truktuur n ie GNN’s i n s taat g estel h et om g oed t e presteer nie, gegewe minder data. Tydens die proses van eksperimentering het ons egter ontdek dat die grafiek topologie sowel as nodus kenmerke prestasie aansienlik beïnvloed. Verder was sommige van die voorgestelde GNN-modelle nie in staat om die grafiek struktuur effektief te benut nie.
Description
Thesis (MSc)--Stellenbosch University, 2022.
Keywords
Machine learning, Computer vision, Neural networks (Computer science), Convolutions (Mathematics), UCTD