Σας ευχαριστούμε που επισκεφτήκατε το Nature.com.Χρησιμοποιείτε μια έκδοση προγράμματος περιήγησης με περιορισμένη υποστήριξη CSS.Για την καλύτερη εμπειρία, συνιστούμε να χρησιμοποιήσετε ένα ενημερωμένο πρόγραμμα περιήγησης (ή να απενεργοποιήσετε τη λειτουργία συμβατότητας στον Internet Explorer).Επιπλέον, για να διασφαλίσουμε τη συνεχή υποστήριξη, εμφανίζουμε τον ιστότοπο χωρίς στυλ και JavaScript.
Ρυθμιστικά που εμφανίζουν τρία άρθρα ανά διαφάνεια.Χρησιμοποιήστε τα κουμπιά πίσω και επόμενο για να μετακινηθείτε στις διαφάνειες ή τα κουμπιά του ελεγκτή ολίσθησης στο τέλος για να μετακινηθείτε σε κάθε διαφάνεια.
Η οπτική τομογραφική αγγειογραφία συνοχής (OCTA) είναι μια νέα μέθοδος για τη μη επεμβατική απεικόνιση των αγγείων του αμφιβληστροειδούς.Αν και το OCTA έχει πολλές υποσχόμενες κλινικές εφαρμογές, ο προσδιορισμός της ποιότητας εικόνας παραμένει μια πρόκληση.Αναπτύξαμε ένα σύστημα βασισμένο σε βαθιά μάθηση χρησιμοποιώντας τον ταξινομητή νευρωνικών δικτύων ResNet152 προεκπαιδευμένο με το ImageNet για την ταξινόμηση εικόνων επιφανειακού τριχοειδούς πλέγματος από 347 σαρώσεις 134 ασθενών.Οι εικόνες αξιολογήθηκαν επίσης χειροκίνητα ως αληθινή αλήθεια από δύο ανεξάρτητους αξιολογητές για ένα εποπτευόμενο μοντέλο μάθησης.Επειδή οι απαιτήσεις ποιότητας εικόνας μπορεί να διαφέρουν ανάλογα με τις κλινικές ή ερευνητικές ρυθμίσεις, εκπαιδεύτηκαν δύο μοντέλα, το ένα για την αναγνώριση εικόνας υψηλής ποιότητας και το άλλο για την αναγνώριση εικόνας χαμηλής ποιότητας.Το μοντέλο νευρωνικού δικτύου μας δείχνει μια εξαιρετική περιοχή κάτω από την καμπύλη (AUC), 95% CI 0,96-0,99, \(\kappa\) = 0,81), η οποία είναι σημαντικά καλύτερη από το επίπεδο σήματος που αναφέρεται από το μηχάνημα (AUC = 0,82, 95 % CI).0,77–0,86, \(\kappa\) = 0,52 και AUC = 0,78, 95% CI 0,73–0,83, \(\kappa\) = 0,27, αντίστοιχα).Η μελέτη μας δείχνει ότι οι μέθοδοι μηχανικής εκμάθησης μπορούν να χρησιμοποιηθούν για την ανάπτυξη ευέλικτων και ισχυρών μεθόδων ποιοτικού ελέγχου για εικόνες OCTA.
Η οπτική τομογραφία συνοχής (OCTA) είναι μια σχετικά νέα τεχνική που βασίζεται στην οπτική τομογραφία συνοχής (OCT) που μπορεί να χρησιμοποιηθεί για μη επεμβατική απεικόνιση της μικροαγγείωσης του αμφιβληστροειδούς.Το OCTA μετρά τη διαφορά στα μοτίβα ανάκλασης από τους επαναλαμβανόμενους παλμούς φωτός στην ίδια περιοχή του αμφιβληστροειδούς και στη συνέχεια μπορούν να υπολογιστούν ανακατασκευές για την αποκάλυψη αιμοφόρων αγγείων χωρίς την επεμβατική χρήση χρωστικών ή άλλων παραγόντων αντίθεσης.Το OCTA επιτρέπει επίσης την αγγειακή απεικόνιση με ανάλυση βάθους, επιτρέποντας στους κλινικούς ιατρούς να εξετάζουν ξεχωριστά τα επιφανειακά και τα βαθιά στρώματα αγγείων, βοηθώντας στη διαφοροποίηση μεταξύ της νόσου του χοριοαμφιβληστροειδούς.
Αν και αυτή η τεχνική είναι πολλά υποσχόμενη, η διακύμανση της ποιότητας της εικόνας παραμένει μια σημαντική πρόκληση για αξιόπιστη ανάλυση εικόνας, καθιστώντας δύσκολη την ερμηνεία της εικόνας και αποτρέποντας την ευρεία κλινική υιοθέτηση.Επειδή το OCTA χρησιμοποιεί πολλαπλές διαδοχικές σαρώσεις OCT, είναι πιο ευαίσθητο στα τεχνουργήματα εικόνας από το τυπικό OCT.Οι περισσότερες εμπορικές πλατφόρμες OCTA παρέχουν τη δική τους μέτρηση ποιότητας εικόνας που ονομάζεται Signal Strength (SS) ή μερικές φορές Signal Strength Index (SSI).Ωστόσο, οι εικόνες με υψηλή τιμή SS ή SSI δεν εγγυώνται την απουσία τεχνουργημάτων εικόνας, κάτι που μπορεί να επηρεάσει οποιαδήποτε μεταγενέστερη ανάλυση εικόνας και να οδηγήσει σε εσφαλμένες κλινικές αποφάσεις.Τα κοινά τεχνουργήματα εικόνας που μπορούν να εμφανιστούν στην απεικόνιση OCTA περιλαμβάνουν τεχνουργήματα κίνησης, τεχνουργήματα τμηματοποίησης, τεχνουργήματα αδιαφάνειας μέσων και τεχνουργήματα προβολής1,2,3.
Καθώς τα μέτρα που προέρχονται από OCTA, όπως η αγγειακή πυκνότητα, χρησιμοποιούνται όλο και περισσότερο στη μεταφραστική έρευνα, τις κλινικές δοκιμές και την κλινική πρακτική, υπάρχει επείγουσα ανάγκη να αναπτυχθούν ισχυρές και αξιόπιστες διαδικασίες ελέγχου ποιότητας εικόνας για την εξάλειψη των τεχνουργημάτων εικόνας4.Οι συνδέσεις παράλειψης, γνωστές και ως υπολειπόμενες συνδέσεις, είναι προβολές στην αρχιτεκτονική νευρωνικών δικτύων που επιτρέπουν στις πληροφορίες να παρακάμπτουν συνελικτικά επίπεδα ενώ αποθηκεύουν πληροφορίες σε διαφορετικές κλίμακες ή αναλύσεις5.Επειδή τα τεχνουργήματα εικόνας μπορούν να επηρεάσουν την απόδοση εικόνας μικρής και γενικής μεγάλης κλίμακας, τα νευρωνικά δίκτυα παράβλεψης σύνδεσης είναι κατάλληλα για να αυτοματοποιήσουν αυτήν την εργασία ποιοτικού ελέγχου5.Πρόσφατα δημοσιευμένες εργασίες έχουν δείξει κάποια υπόσχεση για βαθιά συνελικτικά νευρωνικά δίκτυα που εκπαιδεύονται χρησιμοποιώντας δεδομένα υψηλής ποιότητας από ανθρώπινους εκτιμητές6.
Σε αυτή τη μελέτη, εκπαιδεύουμε ένα συνελικτικό νευρωνικό δίκτυο που παρακάμπτει τη σύνδεση για να προσδιορίζει αυτόματα την ποιότητα των εικόνων OCTA.Βασιζόμαστε σε προηγούμενες εργασίες αναπτύσσοντας ξεχωριστά μοντέλα για τον εντοπισμό εικόνων υψηλής ποιότητας και εικόνων χαμηλής ποιότητας, καθώς οι απαιτήσεις ποιότητας εικόνας ενδέχεται να διαφέρουν για συγκεκριμένα κλινικά ή ερευνητικά σενάρια.Συγκρίνουμε τα αποτελέσματα αυτών των δικτύων με συνελικτικά νευρωνικά δίκτυα χωρίς συνδέσεις που λείπουν για να αξιολογήσουμε την αξία της συμπερίληψης χαρακτηριστικών σε πολλαπλά επίπεδα ευαισθησίας στη βαθιά μάθηση.Στη συνέχεια, συγκρίναμε τα αποτελέσματά μας με την ισχύ του σήματος, ένα κοινά αποδεκτό μέτρο ποιότητας εικόνας που παρέχεται από τους κατασκευαστές.
Η μελέτη μας περιελάμβανε ασθενείς με διαβήτη που παρακολούθησαν το Οφθαλμικό Κέντρο Yale μεταξύ 11 Αυγούστου 2017 και 11 Απριλίου 2019. Ασθενείς με οποιαδήποτε μη διαβητική νόσο του χοριοαμφιβληστροειδούς αποκλείστηκαν.Δεν υπήρχαν κριτήρια συμπερίληψης ή αποκλεισμού βάσει ηλικίας, φύλου, φυλής, ποιότητας εικόνας ή οποιουδήποτε άλλου παράγοντα.
Οι εικόνες OCTA αποκτήθηκαν χρησιμοποιώντας την πλατφόρμα AngioPlex σε ένα Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) κάτω από πρωτόκολλα απεικόνισης 8\(\times\)8 mm και 6\(\times\)6 mm.Η ενημερωμένη συγκατάθεση για συμμετοχή στη μελέτη λήφθηκε από κάθε συμμετέχοντα στη μελέτη και η Επιτροπή Ιδρυματικής Αναθεώρησης του Πανεπιστημίου του Yale (IRB) ενέκρινε τη χρήση ενημερωμένης συγκατάθεσης με παγκόσμια φωτογραφία για όλους αυτούς τους ασθενείς.Ακολουθώντας τις αρχές της Διακήρυξης του Ελσίνκι.Η μελέτη εγκρίθηκε από το Πανεπιστήμιο Yale IRB.
Οι εικόνες επιφανειακής πλάκας αξιολογήθηκαν με βάση το προηγουμένως περιγραφόμενο Motion Artifact Score (MAS), το προηγουμένως περιγραφόμενο Segmentation Artifact Score (SAS), το οπίσθιο κέντρο, την παρουσία αδιαφάνειας του μέσου και την καλή απεικόνιση των μικρών τριχοειδών αγγείων όπως προσδιορίζεται από τον αξιολογητή εικόνας.Οι εικόνες αναλύθηκαν από δύο ανεξάρτητους αξιολογητές (RD και JW).Μια εικόνα έχει βαθμολογημένη βαθμολογία 2 (κατάλληλη) εάν πληρούνται όλα τα ακόλουθα κριτήρια: η εικόνα είναι κεντραρισμένη στο βόθρο (λιγότερο από 100 pixel από το κέντρο της εικόνας), το MAS είναι 1 ή 2, το SAS είναι 1 και Η αδιαφάνεια του μέσου είναι μικρότερη από 1. Παρουσιάζεται σε εικόνες μεγέθους / 16 και μικρά τριχοειδή αγγεία εμφανίζονται σε εικόνες μεγαλύτερες από 15/16.Μια εικόνα βαθμολογείται με 0 (χωρίς βαθμολογία) εάν πληρούνται κάποιο από τα ακόλουθα κριτήρια: η εικόνα είναι εκτός κέντρου, εάν το MAS είναι 4, εάν το SAS είναι 2 ή η μέση αδιαφάνεια είναι μεγαλύτερη από το 1/4 της εικόνας και τα μικρά τριχοειδή αγγεία δεν μπορούν να ρυθμιστούν περισσότερο από 1 εικόνα /4 για διάκριση.Όλες οι άλλες εικόνες που δεν πληρούν τα κριτήρια βαθμολόγησης 0 ή 2 βαθμολογούνται ως 1 (απόκομμα).
Στο σχ.Το 1 δείχνει δείγματα εικόνων για καθεμία από τις εκτιμήσεις κλίμακας και τα τεχνουργήματα εικόνας.Η αξιοπιστία των επιμέρους βαθμολογιών μεταξύ των αξιολογητών αξιολογήθηκε με τη στάθμιση κάπα του Cohen8.Οι επιμέρους βαθμολογίες κάθε βαθμολογητή αθροίζονται για να ληφθεί μια συνολική βαθμολογία για κάθε εικόνα, που κυμαίνεται από 0 έως 4. Οι εικόνες με συνολική βαθμολογία 4 θεωρούνται καλές.Οι εικόνες με συνολική βαθμολογία 0 ή 1 θεωρούνται χαμηλής ποιότητας.
Ένα συνελικτικό νευρωνικό δίκτυο αρχιτεκτονικής ResNet152 (Εικ. 3A.i) προεκπαιδευμένο σε εικόνες από τη βάση δεδομένων ImageNet δημιουργήθηκε χρησιμοποιώντας το fast.ai και το πλαίσιο PyTorch5, 9, 10, 11. Ένα συνελικτικό νευρωνικό δίκτυο είναι ένα δίκτυο που χρησιμοποιεί τη μαθημένη φίλτρα για τη σάρωση θραυσμάτων εικόνας για τη μελέτη χωρικών και τοπικών χαρακτηριστικών.Το εκπαιδευμένο ResNet μας είναι ένα νευρωνικό δίκτυο 152 επιπέδων που χαρακτηρίζεται από κενά ή «υπολειπόμενες συνδέσεις» που μεταδίδουν ταυτόχρονα πληροφορίες με πολλαπλές αναλύσεις.Προβάλλοντας πληροφορίες σε διαφορετικές αναλύσεις μέσω του δικτύου, η πλατφόρμα μπορεί να μάθει τα χαρακτηριστικά των εικόνων χαμηλής ποιότητας σε πολλαπλά επίπεδα λεπτομέρειας.Εκτός από το μοντέλο μας ResNet, εκπαιδεύσαμε επίσης το AlexNet, μια καλά μελετημένη αρχιτεκτονική νευρωνικών δικτύων, χωρίς να λείπουν συνδέσεις για σύγκριση (Εικόνα 3A.ii)12.Χωρίς συνδέσεις που λείπουν, αυτό το δίκτυο δεν θα μπορεί να καταγράψει λειτουργίες με μεγαλύτερη ευαισθησία.
Το αρχικό σετ εικόνων 8\(\times\) 8mm OCTA13 έχει βελτιωθεί χρησιμοποιώντας τεχνικές οριζόντιας και κάθετης ανάκλασης.Στη συνέχεια, το πλήρες σύνολο δεδομένων χωρίστηκε τυχαία σε επίπεδο εικόνας σε σύνολα δεδομένων εκπαίδευσης (51,2%), δοκιμής (12,8%), συντονισμού υπερπαραμέτρων (16%) και επικύρωσης (20%) χρησιμοποιώντας το scikit-learn toolbox python14.Εξετάστηκαν δύο περιπτώσεις, η μία με βάση τον εντοπισμό μόνο των εικόνων υψηλότερης ποιότητας (συνολική βαθμολογία 4) και η άλλη με βάση τον εντοπισμό μόνο των εικόνων χαμηλότερης ποιότητας (συνολική βαθμολογία 0 ή 1).Για κάθε περίπτωση χρήσης υψηλής ποιότητας και χαμηλής ποιότητας, το νευρωνικό δίκτυο επανεκπαιδεύεται μία φορά στα δεδομένα εικόνας μας.Σε κάθε περίπτωση χρήσης, το νευρωνικό δίκτυο εκπαιδεύτηκε για 10 εποχές, όλα εκτός από τα υψηλότερα βάρη στρώματος παγώθηκαν και τα βάρη όλων των εσωτερικών παραμέτρων μαθεύτηκαν για 40 εποχές χρησιμοποιώντας μια μέθοδο διακριτικού ρυθμού μάθησης με συνάρτηση απώλειας διασταυρούμενης εντροπίας 15, 16..Η συνάρτηση απώλειας διασταυρούμενης εντροπίας είναι ένα μέτρο της λογαριθμικής κλίμακας της απόκλισης μεταξύ των προβλεπόμενων ετικετών δικτύου και των πραγματικών δεδομένων.Κατά τη διάρκεια της προπόνησης πραγματοποιείται gradient descent στις εσωτερικές παραμέτρους του νευρωνικού δικτύου για να ελαχιστοποιηθούν οι απώλειες.Ο ρυθμός μάθησης, ο ρυθμός εγκατάλειψης και οι υπερπαράμετροι μείωσης βάρους ρυθμίστηκαν χρησιμοποιώντας βελτιστοποίηση Bayes με 2 τυχαία σημεία εκκίνησης και 10 επαναλήψεις και η AUC στο σύνολο δεδομένων ρυθμίστηκε χρησιμοποιώντας τις υπερπαραμέτρους ως στόχο 17.
Αντιπροσωπευτικά παραδείγματα εικόνων OCTA 8 × 8 mm επιφανειακών τριχοειδών πλεγμάτων με βαθμολογία 2 (A, B), 1 (C, D) και 0 (E, F).Τα τεχνουργήματα εικόνας που εμφανίζονται περιλαμβάνουν γραμμές που τρεμοπαίζουν (βέλη), τεχνουργήματα τμηματοποίησης (αστερίσκοι) και αδιαφάνεια μέσων (βέλη).Η εικόνα (Ε) είναι επίσης εκτός κέντρου.
Στη συνέχεια δημιουργούνται καμπύλες χαρακτηριστικών λειτουργίας δέκτη (ROC) για όλα τα μοντέλα νευρωνικών δικτύων και δημιουργούνται αναφορές ισχύος σήματος κινητήρα για κάθε περίπτωση χρήσης χαμηλής ποιότητας και υψηλής ποιότητας.Η περιοχή κάτω από την καμπύλη (AUC) υπολογίστηκε χρησιμοποιώντας το πακέτο pROC R και υπολογίστηκαν διαστήματα εμπιστοσύνης 95% και τιμές p με τη μέθοδο DeLong18,19.Οι αθροιστικές βαθμολογίες των ανθρώπινων βαθμολογητών χρησιμοποιούνται ως βάση για όλους τους υπολογισμούς ROC.Για την ισχύ του σήματος που αναφέρθηκε από το μηχάνημα, η AUC υπολογίστηκε δύο φορές: μία για την αποκοπή βαθμολογίας κλιμάκωσης υψηλής ποιότητας και μία για την αποκοπή βαθμολογίας κλιμάκωσης χαμηλής ποιότητας.Το νευρωνικό δίκτυο συγκρίνεται με την ισχύ του σήματος AUC που αντικατοπτρίζει τις δικές του συνθήκες εκπαίδευσης και αξιολόγησης.
Για να δοκιμαστεί περαιτέρω το εκπαιδευμένο μοντέλο βαθιάς μάθησης σε ξεχωριστό σύνολο δεδομένων, μοντέλα υψηλής ποιότητας και χαμηλής ποιότητας εφαρμόστηκαν απευθείας στην αξιολόγηση απόδοσης 32 εικόνων πλήρους όψης 6\(\times\) 6 χιλιοστών επιφάνειας πλάκας που συλλέχθηκαν από το Πανεπιστήμιο Yale.Το Eye Mass κεντραρίζεται ταυτόχρονα με την εικόνα 8 \(\ φορές \) 8 mm.Οι εικόνες 6 \(\×\) 6 mm αξιολογήθηκαν χειροκίνητα από τους ίδιους αξιολογητές (RD και JW) με τον ίδιο τρόπο όπως οι εικόνες 8 \(\×\) 8 mm, η AUC υπολογίστηκε καθώς και η ακρίβεια και η κάπα του Cohen .εξίσου.
Ο λόγος ανισορροπίας κλάσης είναι 158:189 (\(\rho = 1,19\)) για το μοντέλο χαμηλής ποιότητας και 80:267 (\(\rho = 3,3\)) για το μοντέλο υψηλής ποιότητας.Επειδή η αναλογία ανισορροπίας κλάσης είναι μικρότερη από 1:4, δεν έχουν γίνει συγκεκριμένες αρχιτεκτονικές αλλαγές για τη διόρθωση της ανισορροπίας κλάσης20,21.
Για την καλύτερη οπτικοποίηση της διαδικασίας εκμάθησης, δημιουργήθηκαν χάρτες ενεργοποίησης τάξης και για τα τέσσερα εκπαιδευμένα μοντέλα βαθιάς μάθησης: μοντέλο ResNet152 υψηλής ποιότητας, μοντέλο ResNet152 χαμηλής ποιότητας, μοντέλο AlexNet υψηλής ποιότητας και μοντέλο AlexNet χαμηλής ποιότητας.Οι χάρτες ενεργοποίησης κλάσεων δημιουργούνται από τα συνελικτικά επίπεδα εισόδου αυτών των τεσσάρων μοντέλων και οι χάρτες θερμότητας δημιουργούνται με την επικάλυψη χαρτών ενεργοποίησης με εικόνες πηγής από τα σετ επικύρωσης 8 × 8 mm και 6 × 6 mm22, 23.
Η έκδοση R 4.0.3 χρησιμοποιήθηκε για όλους τους στατιστικούς υπολογισμούς και οι οπτικοποιήσεις δημιουργήθηκαν χρησιμοποιώντας τη βιβλιοθήκη εργαλείων γραφικών ggplot2.
Συλλέξαμε 347 μετωπικές εικόνες του επιφανειακού τριχοειδούς πλέγματος διαστάσεων 8 \(\ φορές \) 8 mm από 134 άτομα.Το μηχάνημα ανέφερε ισχύ σήματος σε κλίμακα από 0 έως 10 για όλες τις εικόνες (μέση τιμή = 6,99 ± 2,29).Από τις 347 εικόνες που αποκτήθηκαν, η μέση ηλικία κατά την εξέταση ήταν 58,7 ± 14,6 έτη και το 39,2% ήταν από άνδρες ασθενείς.Από όλες τις εικόνες, το 30,8% ήταν από Καυκάσιους, το 32,6% από Μαύρους, το 30,8% από Ισπανόφωνους, το 4% από Ασιάτες και το 1,7% από άλλες φυλές (Πίνακας 1).).Η ηλικιακή κατανομή των ασθενών με OCTA διέφερε σημαντικά ανάλογα με την ποιότητα της εικόνας (p < 0,001).Το ποσοστό των εικόνων υψηλής ποιότητας σε νεότερους ασθενείς ηλικίας 18-45 ετών ήταν 33,8% έναντι 12,2% των εικόνων χαμηλής ποιότητας (Πίνακας 1).Η κατανομή της κατάστασης της διαβητικής αμφιβληστροειδοπάθειας διέφερε επίσης σημαντικά στην ποιότητα της εικόνας (p < 0,017).Μεταξύ όλων των εικόνων υψηλής ποιότητας, το ποσοστό των ασθενών με PDR ήταν 18,8% σε σύγκριση με 38,8% όλων των εικόνων χαμηλής ποιότητας (Πίνακας 1).
Οι επιμέρους αξιολογήσεις όλων των εικόνων έδειξαν μέτρια έως ισχυρή αξιοπιστία μεταξύ των αξιολογήσεων μεταξύ των ατόμων που διαβάζουν τις εικόνες (σταθμισμένη κάπα του Cohen = 0,79, 95% CI: 0,76-0,82) και δεν υπήρχαν σημεία εικόνας όπου οι βαθμολογητές διέφεραν περισσότερο από 1 (Εικ. 2Α)..Η ένταση του σήματος συσχετίστηκε σημαντικά με τη χειροκίνητη βαθμολόγηση (συσχέτιση ροπής προϊόντος Pearson = 0,58, 95% CI 0,51–0,65, p<0,001), αλλά πολλές εικόνες αναγνωρίστηκαν ότι είχαν υψηλή ένταση σήματος αλλά χαμηλή χειροκίνητη βαθμολογία (Εικ. .2B).
Κατά τη διάρκεια της εκπαίδευσης των αρχιτεκτονικών ResNet152 και AlexNet, η απώλεια διασταυρούμενης εντροπίας στην επικύρωση και την εκπαίδευση πέφτει πάνω από 50 εποχές (Εικόνα 3B,C).Η ακρίβεια επικύρωσης στην τελική περίοδο εκπαίδευσης είναι πάνω από 90% για περιπτώσεις χρήσης υψηλής ποιότητας και χαμηλής ποιότητας.
Οι καμπύλες απόδοσης δέκτη δείχνουν ότι το μοντέλο ResNet152 ξεπερνά σημαντικά την ισχύ σήματος που αναφέρεται από το μηχάνημα τόσο σε περιπτώσεις χρήσης χαμηλής όσο και υψηλής ποιότητας (p < 0,001).Το μοντέλο ResNet152 ξεπερνά επίσης σημαντικά την αρχιτεκτονική AlexNet (p = 0,005 και p = 0,014 για περιπτώσεις χαμηλής ποιότητας και υψηλής ποιότητας, αντίστοιχα).Τα μοντέλα που προέκυψαν για καθεμία από αυτές τις εργασίες μπόρεσαν να επιτύχουν τιμές AUC 0,99 και 0,97, αντίστοιχα, που είναι σημαντικά καλύτερες από τις αντίστοιχες τιμές AUC των 0,82 και 0,78 για τον δείκτη ισχύος σήματος του μηχανήματος ή 0,97 και 0,94 για το AlexNet ..(Εικ. 3).Η διαφορά μεταξύ ResNet και AUC στην ισχύ του σήματος είναι μεγαλύτερη κατά την αναγνώριση εικόνων υψηλής ποιότητας, υποδεικνύοντας πρόσθετα οφέλη από τη χρήση του ResNet για αυτήν την εργασία.
Τα γραφήματα δείχνουν την ικανότητα κάθε ανεξάρτητου βαθμολογητή να σκοράρει και να συγκρίνει με την ισχύ του σήματος που αναφέρεται από το μηχάνημα.(Α) Το άθροισμα των προς αξιολόγηση βαθμών χρησιμοποιείται για τη δημιουργία του συνολικού αριθμού των προς αξιολόγηση βαθμών.Στις εικόνες με συνολική βαθμολογία επεκτασιμότητας 4 εκχωρείται υψηλή ποιότητα, ενώ σε εικόνες με συνολική βαθμολογία επεκτασιμότητας 1 ή λιγότερο αποδίδεται χαμηλή ποιότητα.(Β) Η ένταση του σήματος συσχετίζεται με τις μη αυτόματες εκτιμήσεις, αλλά οι εικόνες με υψηλή ένταση σήματος μπορεί να είναι χαμηλότερης ποιότητας.Η κόκκινη διακεκομμένη γραμμή υποδεικνύει το συνιστώμενο όριο ποιότητας του κατασκευαστή με βάση την ισχύ του σήματος (ισχύς σήματος \(\ge\)6).
Η εκμάθηση μεταφοράς ResNet παρέχει σημαντική βελτίωση στην αναγνώριση ποιότητας εικόνας για περιπτώσεις χρήσης χαμηλής και υψηλής ποιότητας σε σύγκριση με τα επίπεδα σήματος που αναφέρονται από μηχανή.(Α) Απλοποιημένα διαγράμματα αρχιτεκτονικής προεκπαιδευμένων αρχιτεκτονικών (i) ResNet152 και (ii) AlexNet.(Β) Ιστορικό προπόνησης και καμπύλες απόδοσης δέκτη για το ResNet152 σε σύγκριση με την ισχύ του σήματος που αναφέρεται από μηχανή και τα κριτήρια χαμηλής ποιότητας AlexNet.(Γ) Ιστορικό εκπαίδευσης δέκτη ResNet152 και καμπύλες απόδοσης σε σύγκριση με την ισχύ του σήματος που αναφέρεται από μηχανή και τα κριτήρια υψηλής ποιότητας AlexNet.
Μετά την προσαρμογή του ορίου απόφασης, η μέγιστη ακρίβεια πρόβλεψης του μοντέλου ResNet152 είναι 95,3% για την περίπτωση χαμηλής ποιότητας και 93,5% για την περίπτωση υψηλής ποιότητας (Πίνακας 2).Η μέγιστη ακρίβεια πρόβλεψης του μοντέλου AlexNet είναι 91,0% για την περίπτωση χαμηλής ποιότητας και 90,1% για την περίπτωση υψηλής ποιότητας (Πίνακας 2).Η μέγιστη ακρίβεια πρόβλεψης ισχύος σήματος είναι 76,1% για την περίπτωση χρήσης χαμηλής ποιότητας και 77,8% για την περίπτωση χρήσης υψηλής ποιότητας.Σύμφωνα με την κάπα του Cohen (\(\kappa\)), η συμφωνία μεταξύ του μοντέλου ResNet152 και των εκτιμητών είναι 0,90 για την περίπτωση χαμηλής ποιότητας και 0,81 για την περίπτωση υψηλής ποιότητας.Το AlexNet kappa του Cohen είναι 0,82 και 0,71 για περιπτώσεις χρήσης χαμηλής ποιότητας και υψηλής ποιότητας, αντίστοιχα.Η ισχύς σήματος κάπα του Cohen είναι 0,52 και 0,27 για τις περιπτώσεις χρήσης χαμηλής και υψηλής ποιότητας, αντίστοιχα.
Η επικύρωση μοντέλων αναγνώρισης υψηλής και χαμηλής ποιότητας σε εικόνες 6\(\x\) μιας επίπεδης πλάκας 6 mm καταδεικνύει την ικανότητα του εκπαιδευμένου μοντέλου να προσδιορίζει την ποιότητα εικόνας σε διάφορες παραμέτρους απεικόνισης.Όταν χρησιμοποιήθηκαν 6\(\x\) ρηχές πλάκες 6 mm για ποιότητα απεικόνισης, το μοντέλο χαμηλής ποιότητας είχε AUC 0,83 (95% CI: 0,69–0,98) και το μοντέλο υψηλής ποιότητας είχε AUC 0,85.(95% CI: 0,55–1,00) (Πίνακας 2).
Η οπτική επιθεώρηση των χαρτών ενεργοποίησης κλάσης στρώματος εισόδου έδειξε ότι όλα τα εκπαιδευμένα νευρωνικά δίκτυα χρησιμοποιούσαν χαρακτηριστικά εικόνας κατά την ταξινόμηση εικόνων (Εικ. 4Α, Β).Για 8 \(\times \) 8 mm και 6 \(\times \) 6 mm εικόνες, οι εικόνες ενεργοποίησης ResNet ακολουθούν στενά την αγγείωση του αμφιβληστροειδούς.Οι χάρτες ενεργοποίησης του AlexNet ακολουθούν επίσης τα αγγεία του αμφιβληστροειδούς, αλλά με μεγαλύτερη ανάλυση.
Οι χάρτες ενεργοποίησης κλάσεων για τα μοντέλα ResNet152 και AlexNet τονίζουν χαρακτηριστικά που σχετίζονται με την ποιότητα της εικόνας.(Α) Χάρτης ενεργοποίησης τάξης που δείχνει συνεκτική ενεργοποίηση μετά από επιφανειακή αγγείωση αμφιβληστροειδούς σε 8 εικόνες επικύρωσης \(\ φορές \) 8 mm και (Β) έκταση σε μικρότερες εικόνες επικύρωσης 6 \(\ φορές \) 6 mm.Μοντέλο LQ εκπαιδευμένο σε χαμηλά κριτήρια ποιότητας, μοντέλο HQ εκπαιδευμένο σε υψηλά κριτήρια ποιότητας.
Έχει αποδειχθεί προηγουμένως ότι η ποιότητα της εικόνας μπορεί να επηρεάσει σε μεγάλο βαθμό οποιαδήποτε ποσοτικοποίηση εικόνων OCTA.Επιπλέον, η παρουσία αμφιβληστροειδοπάθειας αυξάνει τη συχνότητα εμφάνισης τεχνουργημάτων εικόνας7,26.Στην πραγματικότητα, στα δεδομένα μας, σύμφωνα με προηγούμενες μελέτες, βρήκαμε σημαντική συσχέτιση μεταξύ της αύξησης της ηλικίας και της σοβαρότητας της νόσου του αμφιβληστροειδούς και της επιδείνωσης της ποιότητας εικόνας (p < 0,001, p = 0,017 για την ηλικία και την κατάσταση DR, αντίστοιχα, Πίνακας 1) 27 Ως εκ τούτου, είναι σημαντικό να αξιολογηθεί η ποιότητα της εικόνας πριν από την εκτέλεση οποιασδήποτε ποσοτικής ανάλυσης εικόνων OCTA.Οι περισσότερες μελέτες που αναλύουν εικόνες OCTA χρησιμοποιούν κατώφλια έντασης σήματος που αναφέρονται από μηχανή για να αποκλείσουν εικόνες χαμηλής ποιότητας.Αν και η ένταση του σήματος έχει αποδειχθεί ότι επηρεάζει την ποσοτικοποίηση των παραμέτρων OCTA, η υψηλή ένταση σήματος από μόνη της μπορεί να μην είναι αρκετή για να αποκλείσει εικόνες με τεχνουργήματα εικόνας2,3,28,29.Ως εκ τούτου, είναι απαραίτητο να αναπτυχθεί μια πιο αξιόπιστη μέθοδος ελέγχου ποιότητας εικόνας.Για το σκοπό αυτό, αξιολογούμε την απόδοση των εποπτευόμενων μεθόδων βαθιάς εκμάθησης σε σχέση με την ισχύ του σήματος που αναφέρεται από το μηχάνημα.
Έχουμε αναπτύξει πολλά μοντέλα για την αξιολόγηση της ποιότητας εικόνας, επειδή διαφορετικές περιπτώσεις χρήσης OCTA ενδέχεται να έχουν διαφορετικές απαιτήσεις ποιότητας εικόνας.Για παράδειγμα, οι εικόνες πρέπει να είναι υψηλότερης ποιότητας.Επιπλέον, συγκεκριμένες ποσοτικές παράμετροι ενδιαφέροντος είναι επίσης σημαντικές.Για παράδειγμα, η περιοχή της αγγειακής ζώνης του βοθρίου δεν εξαρτάται από τη θολότητα του μη κεντρικού μέσου, αλλά επηρεάζει την πυκνότητα των αγγείων.Ενώ η έρευνά μας συνεχίζει να επικεντρώνεται σε μια γενική προσέγγιση για την ποιότητα εικόνας, που δεν συνδέεται με τις απαιτήσεις οποιασδήποτε συγκεκριμένης δοκιμής, αλλά προορίζεται να αντικαταστήσει άμεσα την ισχύ του σήματος που αναφέρεται από το μηχάνημα, ελπίζουμε να προσφέρουμε στους χρήστες μεγαλύτερο βαθμό ελέγχου, ώστε να μπορεί να επιλέξει τη συγκεκριμένη μέτρηση που ενδιαφέρει τον χρήστη.επιλέξτε ένα μοντέλο που αντιστοιχεί στον μέγιστο βαθμό τεχνουργημάτων εικόνας που θεωρείται αποδεκτό.
Για σκηνές χαμηλής ποιότητας και υψηλής ποιότητας, δείχνουμε εξαιρετική απόδοση των βαθιών συνελικτικών νευρωνικών δικτύων που λείπουν από σύνδεση, με AUC 0,97 και 0,99 και μοντέλα χαμηλής ποιότητας, αντίστοιχα.Επιδεικνύουμε επίσης την ανώτερη απόδοση της προσέγγισης βαθιάς εκμάθησης σε σύγκριση με τα επίπεδα σήματος που αναφέρονται μόνο από μηχανές.Οι συνδέσεις παράλειψης επιτρέπουν στα νευρωνικά δίκτυα να μαθαίνουν χαρακτηριστικά σε πολλαπλά επίπεδα λεπτομέρειας, αποτυπώνοντας λεπτότερες πτυχές των εικόνων (π.χ. αντίθεση) καθώς και γενικά χαρακτηριστικά (π.χ. κεντράρισμα εικόνας30,31).Δεδομένου ότι τα τεχνουργήματα εικόνας που επηρεάζουν την ποιότητα της εικόνας εντοπίζονται πιθανώς καλύτερα σε ένα ευρύ φάσμα, οι αρχιτεκτονικές νευρωνικών δικτύων με ελλείπουσες συνδέσεις ενδέχεται να παρουσιάζουν καλύτερη απόδοση από εκείνες χωρίς εργασίες προσδιορισμού ποιότητας εικόνας.
Κατά τη δοκιμή του μοντέλου μας σε εικόνες OCTA 6\(\×6mm), παρατηρήσαμε μείωση στην απόδοση ταξινόμησης τόσο για μοντέλα υψηλής ποιότητας όσο και για μοντέλα χαμηλής ποιότητας (Εικ. 2), σε αντίθεση με το μέγεθος του μοντέλου που έχει εκπαιδευτεί για ταξινόμηση.Σε σύγκριση με το μοντέλο ResNet, το μοντέλο AlexNet έχει μεγαλύτερη πτώση.Η σχετικά καλύτερη απόδοση του ResNet μπορεί να οφείλεται στην ικανότητα των υπολειπόμενων συνδέσεων να μεταδίδουν πληροφορίες σε πολλαπλές κλίμακες, γεγονός που καθιστά το μοντέλο πιο εύρωστο για την ταξινόμηση εικόνων που λαμβάνονται σε διαφορετικές κλίμακες ή/και μεγεθύνσεις.
Ορισμένες διαφορές μεταξύ εικόνων 8 \(\×\) 8 mm και 6 \(\×\) εικόνων 6 mm μπορεί να οδηγήσουν σε κακή ταξινόμηση, συμπεριλαμβανομένου ενός σχετικά υψηλού ποσοστού εικόνων που περιέχουν οπίσθιες μη αγγειακές περιοχές, αλλαγές στην ορατότητα, αγγειακές στοές και χωρίς οπτικό νεύρο στην εικόνα 6×6 mm.Παρόλα αυτά, το υψηλής ποιότητας μοντέλο ResNet μας κατάφερε να επιτύχει AUC 85% για 6 \(\x\) εικόνες 6 mm, μια διαμόρφωση για την οποία το μοντέλο δεν είχε εκπαιδευτεί, γεγονός που υποδηλώνει ότι οι πληροφορίες ποιότητας εικόνας κωδικοποιούνται στο νευρωνικό δίκτυο είναι κατάλληλο.για ένα μέγεθος εικόνας ή διαμόρφωση μηχανής εκτός της εκπαίδευσής του (Πίνακας 2).Καθησυχαστικά, χάρτες ενεργοποίησης ResNet και AlexNet με 8 εικόνες 8 mm και 6 \(\times \) 6 mm μπόρεσαν να τονίσουν τα αγγεία του αμφιβληστροειδούς και στις δύο περιπτώσεις, υποδηλώνοντας ότι το μοντέλο έχει σημαντικές πληροφορίες.ισχύουν για την ταξινόμηση και των δύο τύπων εικόνων OCTA (Εικ. 4).
Οι Lauerman et al.Η αξιολόγηση ποιότητας εικόνας σε εικόνες OCTA πραγματοποιήθηκε με παρόμοιο τρόπο χρησιμοποιώντας την αρχιτεκτονική Inception, ένα άλλο συνελικτικό νευρωνικό δίκτυο παράλειψης σύνδεσης6,32 χρησιμοποιώντας τεχνικές βαθιάς μάθησης.Περιόρισαν επίσης τη μελέτη σε εικόνες του επιφανειακού τριχοειδούς πλέγματος, αλλά χρησιμοποιώντας μόνο τις μικρότερες εικόνες 3×3 mm από το Optovue AngioVue, αν και συμπεριλήφθηκαν και ασθενείς με διάφορες ασθένειες του χοριοαμφιβληστροειδούς.Η εργασία μας βασίζεται στα θεμέλιά τους, συμπεριλαμβανομένων πολλών μοντέλων για την αντιμετώπιση διαφόρων ορίων ποιότητας εικόνας και την επικύρωση αποτελεσμάτων για εικόνες διαφορετικών μεγεθών.Αναφέρουμε επίσης τη μέτρηση AUC των μοντέλων μηχανικής εκμάθησης και αυξάνουμε την ήδη εντυπωσιακή ακρίβειά τους (90%)6 και για μοντέλα χαμηλής ποιότητας (96%) και υψηλής ποιότητας (95,7%)6.
Αυτή η εκπαίδευση έχει αρκετούς περιορισμούς.Πρώτον, οι εικόνες αποκτήθηκαν μόνο με ένα μηχάνημα OCTA, συμπεριλαμβανομένων μόνο εικόνων του επιφανειακού τριχοειδούς πλέγματος στα 8\(\ φορές\) 8 mm και 6\(\ φορές\) 6 mm.Ο λόγος για τον αποκλεισμό εικόνων από βαθύτερα στρώματα είναι ότι τα τεχνουργήματα προβολής μπορούν να κάνουν την χειροκίνητη αξιολόγηση των εικόνων πιο δύσκολη και πιθανώς λιγότερο συνεπή.Επιπλέον, εικόνες έχουν ληφθεί μόνο σε διαβητικούς ασθενείς, για τους οποίους το OCTA αναδεικνύεται ως σημαντικό διαγνωστικό και προγνωστικό εργαλείο33,34.Αν και μπορέσαμε να δοκιμάσουμε το μοντέλο μας σε εικόνες διαφορετικών μεγεθών για να διασφαλίσουμε ότι τα αποτελέσματα ήταν ισχυρά, δεν μπορέσαμε να προσδιορίσουμε κατάλληλα σύνολα δεδομένων από διαφορετικά κέντρα, γεγονός που περιόρισε την αξιολόγησή μας για τη γενίκευση του μοντέλου.Αν και οι εικόνες ελήφθησαν από ένα μόνο κέντρο, ελήφθησαν από ασθενείς διαφορετικών εθνοτικών και φυλετικών καταβολών, κάτι που αποτελεί μοναδική δύναμη της μελέτης μας.Συμπεριλαμβάνοντας τη διαφορετικότητα στη διαδικασία εκπαίδευσής μας, ελπίζουμε ότι τα αποτελέσματά μας θα γενικευτούν με μια ευρύτερη έννοια και ότι θα αποφύγουμε την κωδικοποίηση της φυλετικής προκατάληψης στα μοντέλα που εκπαιδεύουμε.
Η μελέτη μας δείχνει ότι τα νευρωνικά δίκτυα παράκαμψης σύνδεσης μπορούν να εκπαιδευτούν για να επιτύχουν υψηλή απόδοση στον προσδιορισμό της ποιότητας εικόνας OCTA.Παρέχουμε αυτά τα μοντέλα ως εργαλεία για περαιτέρω έρευνα.Επειδή διαφορετικές μετρήσεις ενδέχεται να έχουν διαφορετικές απαιτήσεις ποιότητας εικόνας, μπορεί να αναπτυχθεί ένα μεμονωμένο μοντέλο ποιοτικού ελέγχου για κάθε μέτρηση χρησιμοποιώντας τη δομή που καθορίζεται εδώ.
Η μελλοντική έρευνα θα πρέπει να περιλαμβάνει εικόνες διαφορετικών μεγεθών από διαφορετικά βάθη και διαφορετικές μηχανές OCTA για να επιτευχθεί μια διαδικασία αξιολόγησης ποιότητας εικόνας βαθιάς εκμάθησης που μπορεί να γενικευτεί σε πλατφόρμες OCTA και πρωτόκολλα απεικόνισης.Η τρέχουσα έρευνα βασίζεται επίσης σε εποπτευόμενες προσεγγίσεις βαθιάς μάθησης που απαιτούν ανθρώπινη αξιολόγηση και αξιολόγηση εικόνας, η οποία μπορεί να είναι εντατική και χρονοβόρα για μεγάλα σύνολα δεδομένων.Μένει να δούμε αν οι μη εποπτευόμενες μέθοδοι βαθιάς εκμάθησης μπορούν να διακρίνουν επαρκώς μεταξύ εικόνων χαμηλής ποιότητας και εικόνων υψηλής ποιότητας.
Καθώς η τεχνολογία OCTA συνεχίζει να εξελίσσεται και οι ταχύτητες σάρωσης αυξάνονται, η συχνότητα εμφάνισης τεχνουργημάτων εικόνας και εικόνων κακής ποιότητας ενδέχεται να μειωθεί.Βελτιώσεις στο λογισμικό, όπως η δυνατότητα αφαίρεσης τεχνουργημάτων προβολής που παρουσιάστηκε πρόσφατα, μπορούν επίσης να μετριάσουν αυτούς τους περιορισμούς.Ωστόσο, εξακολουθούν να υπάρχουν πολλά προβλήματα καθώς η απεικόνιση ασθενών με κακή στερέωση ή σημαντική θολότητα των μέσων έχει πάντα ως αποτέλεσμα τεχνουργήματα εικόνας.Καθώς το OCTA χρησιμοποιείται ευρέως σε κλινικές δοκιμές, απαιτείται προσεκτική εξέταση για να καθοριστούν σαφείς οδηγίες για αποδεκτά επίπεδα τεχνουργημάτων εικόνας για ανάλυση εικόνας.Η εφαρμογή μεθόδων βαθιάς εκμάθησης σε εικόνες OCTA υπόσχεται πολλά και απαιτείται περαιτέρω έρευνα σε αυτόν τον τομέα για να αναπτυχθεί μια ισχυρή προσέγγιση στον έλεγχο της ποιότητας της εικόνας.
Ο κώδικας που χρησιμοποιείται στην τρέχουσα έρευνα είναι διαθέσιμος στο αποθετήριο octa-qc, https://github.com/rahuldhodapkar/octa-qc.Τα σύνολα δεδομένων που δημιουργήθηκαν και/ή αναλύθηκαν κατά τη διάρκεια της τρέχουσας μελέτης είναι διαθέσιμα από τους αντίστοιχους συγγραφείς κατόπιν εύλογου αιτήματος.
Spaide, RF, Fujimoto, JG & Waheed, NK Αντικείμενα εικόνας στην αγγειογραφία οπτικής συνοχής.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Προσδιορισμός απεικονιστικών χαρακτηριστικών που καθορίζουν την ποιότητα και την αναπαραγωγιμότητα των μετρήσεων της πυκνότητας του τριχοειδούς πλέγματος του αμφιβληστροειδούς στην αγγειογραφία OCT.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Επίδραση της τεχνολογίας οφθαλμικής παρακολούθησης στην ποιότητα εικόνας της αγγειογραφίας OCT στην ηλικιακή εκφύλιση της ωχράς κηλίδας.Ταφικό τόξο.κλινικός.Exp.οφθαλμολογία.255, 1535–1542 (2017).
Babyuch AS et al.Οι μετρήσεις πυκνότητας τριχοειδούς αιμάτωσης OCTA χρησιμοποιούνται για την ανίχνευση και αξιολόγηση της ισχαιμίας της ωχράς κηλίδας.οφθαλμική χειρουργική.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., and Sun, J. Deep Residual Learning for Image Recognition.Το 2016 στο IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Αυτοματοποιημένη αξιολόγηση ποιότητας αγγειογραφικής εικόνας OCT χρησιμοποιώντας αλγόριθμους βαθιάς μάθησης.Ταφικό τόξο.κλινικός.Exp.οφθαλμολογία.257, 1641–1648 (2019).
Lauermann, J. et al.Ο επιπολασμός των σφαλμάτων κατάτμησης και των τεχνουργημάτων κίνησης στην αγγειογραφία OCT εξαρτάται από τη νόσο του αμφιβληστροειδούς.Ταφικό τόξο.κλινικός.Exp.οφθαλμολογία.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Μια επιτακτική, υψηλής απόδοσης βιβλιοθήκη βαθιάς μάθησης.Προηγμένη επεξεργασία νευρωνικών πληροφοριών.Σύστημα.32, 8026–8037 (2019).
Deng, J. et αϊ.ImageNet: Μια ιεραρχική βάση δεδομένων εικόνων μεγάλης κλίμακας.2009 IEEE Conference on Computer Vision and Pattern Recognition.248–255.(2009).
Krizhevsky A., Sutzkever I. και Hinton GE Imagenet ταξινόμησης χρησιμοποιώντας βαθιά συνελικτικά νευρωνικά δίκτυα.Προηγμένη επεξεργασία νευρωνικών πληροφοριών.Σύστημα.25, 1 (2012).