Multi-view automated chest radiography interpretation
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2021-06-14
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
51
Series
Abstract
Chest radiography is the most common medical imaging examination and is critical for screening, diagnosing, and managing many life-threatening diseases. Annotating large chest radiography datasets is expensive, time-consuming, and requires expertise. Weakly labeled datasets like CheXpert, which use natural language processing to extract labels from free-text radiology reports, have emerged to alleviate these problems. These datasets have then been used to train large deep neural networks that have achieved radiologist-level performance on classifying various observations in radiographs. In this work, we propose a multi-view approach that is able to consider a set of radiographs within a study when making a prediction, as opposed to previous methods that treat each radiograph independently. With this method, we are able to leverage the inherent relationship between the set of radiographs in a study. Our multi-view approach uses a Convolutional Neural Network that encodes each radiograph in a study into a latent representation, followed by aggregating the studies into a single representation using the max operation. We combine this multi-view approach together with an input pipeline consisting of template matching and data augmentation and the use of a label correlation aware loss function that can account for label co-occurrences. The results are evaluated using the mean Area Under the Receiver Operating Characteristic curve (AUROC) score across five observations in the dataset, namely Atelectasis, Cardiomegaly, Consolidation, Edema, and Pleural Effusion. Our approach shows great promise as it is able to outperform previous work when the encoder architecture and input resolution are matched, and even at lower resolutions. Using a DenseNet121 as the encoder network, we can achieve a mean AUROC score of 0.901 on the validation set and 0.895 on the private test set.Röntgen av bröstkorgen är den vanligaste medicinska bildundersökningen och är avgörande för screening, diagnostisering och behandling av många livshotande sjukdomar. Att annotera stora datamängder för lungröntgen kostar mycket pengar är tidskrävande och kräver expertis. Svagt annoterade dataset som CheXpert, som använder naturlig språkbehandling för att extrahera etiketter från röntgen rapporter i fritext, har dykt upp för att lindra dessa problem. Dessa dataset har sedan använts för att träna stora djupa neurala nätverk som har uppnått prestanda på radiolognivå när det gäller att klassificera olika observationer i röntgenbilderna. I det här arbetet föreslår vi en fler-vy metod som kan ta hänsyn till en uppsättning röntgenbilder inom en studie när man gör en förutsägelse. Jämfört med tidigare metoder som behandlat varje röntgenbild oberoende av varandra. Med denna metod kan vi utnyttja det inneboende förhållandet mellan de olika röntgenbilderna i en undersökning. Vår fler-vy metod använder ett konvolutionellt neuralt nätverk som kodar varje röntgenbild i en undersökning till en latent representation. Det följs upp av en aggregering av de latenta representationerna till en enda representation med hjälp av max-operationen. Vi kombinerar detta fler-vy tillvägagångssätt tillsammans med en inmatning pipeline, som består av modellmatchning, dataförstärkning och användning av en förlustfunktion som är medveten om etikettkorrelation och som kan ta hänsyn till samvarierande etiketter. Resultaten utvärderas med hjälp av AUROC-värdet (Area Under the Receiver Operating Characteristic curve) för fem observationer i datasetet. Nämligen atelektas, kardiomegali, konsolidering, ödem och pleurautgjutning. Vårt tillvägagångssätt är mycket lovande eftersom det kan prestera bättre än tidigare arbeten när kodar arkitekturen och inmatnings upplösningen matchar, och även vid lägre upplösningar. Med DenseNet121 som kodningsnätverk kan vi uppnå en genomsnittlig AUROC-värde på 0,901 på valideringsuppsättningen och 0,895 på den privata testuppsättningen.Rintakehän röntgenkuvaus on yleisin lääketieteellinen kuvantamistutkimus, ja se on ratkaisevan tärkeä monien hengenvaarallisten sairauksien seulonnassa, diagnosoinnissa ja hoidossa. Suurten rintaröntgenkuva-aineistojen kommentointi on kallista, aikaa vievää ja vaatii asiantuntemusta. Näitä ongelmia on pyritty helpottamaan CheXpertin kaltaisilla heikosti merkityillä tietokokonaisuuksilla, joissa käytetään luonnollisen kielen käsittelyä merkintöjen poimimiseen vapaatekstisistä radiologisista raporteista. Näitä tietokokonaisuuksia on sitten käytetty kouluttamaan suuria syviä neuroverkkoja, jotka ovat saavuttaneet radiologin tason suorituskyvyn luokitellessaan erilaisia havaintoja röntgenkuvista. Tässä työssä ehdotamme moninäkökulmaista lähestymistapaa, joka pystyy ottamaan huomioon joukon röntgenkuvia tutkimuksen sisällä ennustetta tehdessään, toisin kuin aiemmat menetelmät, jotka käsittelevät jokaista röntgenkuvaa itsenäisesti. Tällä menetelmällä pystymme hyödyntämään tutkimukseen sisältyvien röntgenkuvien luontaista suhdetta. Moninäkymäinen lähestymistapamme käyttää konvolutiivista neuroverkkoa, joka koodaa tutkimuksen jokaisen röntgenkuvan latentiksi esitykseksi, minkä jälkeen latentit esitykset yhdistetään yhdeksi esitykseksi käyttämällä max-operaatiota. Yhdistämme tämän moninäkökulmaisen lähestymistavan template matching algoritmin ja data augmentation toiminnon kanssa sekä käytämme etikettien korrelaatiosta tietoista häviöfunktiota, joka pystyy ottamaan huomioon etikettien samanaikaisen esiintymisen. Tuloksia arvioidaan käyttämällä keskimääräistä AUROC-pistemäärää (Area Under the Receiver Operating Characteristic curve) viidestä havaintoaineiston havainnosta, jotka ovat atelektaasi, kardiomegalia, konsolidaatio, keuhkoödeema ja pleuraeffuusio. Lähestymistapamme on erittäin lupaava, sillä se pystyy päihittämään aiemmat työt, kun kooderin arkkitehtuuri ja syötteen resoluutio vastaavat toisiaan, ja jopa pienemmillä resoluutioilla. Käyttämällä DenseNet121-verkkoa saavutamme keskimääräisen AUROC-pistemäärän 0,901 validointiaineistossa ja 0,895 yksityisessä testiaineistossa.Description
Supervisor
Kannala, JuhoThesis advisor
Kannala, JuhoKeywords
chest radiography, deep learning, machine learning, convolutional neural networks, multi-view convolutional neural networks
