Глубокое обучение позволяет ссылаться

Nature Communications, том 13, номер статьи: 3297 (2022) Цитировать эту статью

7567 Доступов

5 цитат

37 Альтметрика

Подробности о метриках

Объемное изображение с помощью флуоресцентной микроскопии часто ограничено анизотропным пространственным разрешением, при котором осевое разрешение уступает латеральному разрешению. Чтобы решить эту проблему, мы представляем неконтролируемый метод сверхразрешения с возможностью глубокого обучения, который улучшает анизотропные изображения в объемной флуоресцентной микроскопии. В отличие от существующих подходов глубокого обучения, которые требуют согласованных целевых изображений с высоким разрешением, наш метод значительно сокращает усилия, которые необходимо применить на практике, поскольку для обучения сети требуется только один стек трехмерных изображений без предварительного знания формирования изображения. процесс, регистрацию обучающих данных или отдельное получение целевых данных. Это достигается на основе оптимальной генеративно-состязательной сети, управляемой транспортом, которая учится на основе непарного сопоставления 2D-изображений высокого разрешения в плоскости бокового изображения и 2D-изображений низкого разрешения в других плоскостях. Используя флуоресцентную конфокальную микроскопию и световую микроскопию, мы демонстрируем, что обученная сеть не только повышает осевое разрешение, но также восстанавливает подавленные визуальные детали между плоскостями изображения и удаляет артефакты изображения.

Трехмерная (3D) флуоресцентная визуализация позволяет получить важную структурную информацию о биологическом образце, которую обычно невозможно получить из двумерного (2D) изображения. Недавние достижения в методах очистки тканей1,2,3,4,5 и световой флуоресцентной микроскопии (LSFM)6,7,8,9 позволили упростить трехмерную визуализацию биологической ткани в беспрецедентном масштабе и скорости, иногда даже в более мелком масштабе. подробности. Тем не менее пространственное разрешение 3D-флуоресцентной микроскопии еще далеко от совершенства; изотропное разрешение по-прежнему трудно достичь.

Анизотропия в флуоресцентной микроскопии обычно означает большую размытость в осевой плоскости изображения. Такой пространственный дисбаланс разрешения можно объяснить многими факторами, включая дифракцию света, осевую недостаточную дискретизацию и степень коррекции аберраций. Даже для микроскопии со сверхвысоким разрешением10, которая по существу превосходит пределы дифракции света, такой как микроскопия с 3D-структурным освещением (3D-SIM)11,12 или микроскопия с истощением стимулированного излучения (STED)13, согласование осевого разрешения с поперечным разрешением остается сложной задачей. вызов14. В то время как LSFM, где путь возбуждения флуоресценции не обязательно совпадает с путем обнаружения, обеспечивает существенное улучшение осевого разрешения9, действительно изотропную функцию рассеяния точки (PSF) трудно достичь для большинства современных методов световой микроскопии, и осевое разрешение обычно в 2 или 3 раза хуже латерального разрешения15,16,17.

В последние годы восстановления изображений во флуоресцентной микроскопии глубокое обучение стало альтернативным подходом, основанным на данных, который заменил классические алгоритмы деконволюции. Преимущество глубокого обучения состоит в том, что он фиксирует статистическую сложность сопоставления изображений и обеспечивает сквозное преобразование изображений без кропотливой точной настройки параметров вручную. Некоторые примеры включают улучшение разрешения при различных модальностях визуализации и размерах числовых апертур18 в сторону изотропности19,20 или уменьшения шума19. Хотя эти методы обеспечивают некоторый уровень гибкости в работе микроскопии, эти методы, основанные на глубоком обучении, должны предполагать некоторое знание целевой области данных для обучения сети. Например, для изотропной реконструкции Weigert et al19,20. использовал стратегию обучения с учителем, заключающуюся в сочетании латеральных изображений высокого разрешения с аксиальными изображениями низкого разрешения, которые были размыты с помощью явной модели PSF. Чжан и др.21. реализовали метод сверхразрешения на основе GAN с моделью деградации изображения, полученной с микроскопа. В обоих случаях процесс деградации изображения не поддается динамическому обучению, и такое предположение о фиксированном процессе деградации изображения требует, чтобы успех восстановления изображения зависел от точности априорных данных, и добавляет микроскопистам еще один уровень работы. Более того, если первоначальное предположение об ухудшении изображения неверно, производительность в реальном наборе данных может быть ограничена. Условия визуализации часто подвержены колебаниям, особенно при высокопроизводительной объемной флуоресцентной визуализации, а визуальные характеристики образцов считаются разнообразными. Следовательно, единообразное предположение о предшествующей информации во всем крупномасштабном объемном изображении может привести к переобучению обученной модели и ухудшить производительность и надежность восстановления изображения.