Subscribe to vlad98v
Subscribe to vlad98v
Share Dialog
Share Dialog
<100 subscribers
<100 subscribers
В этом сообщении блога мы обсуждаем традиционный метод извлечения признаков радужной оболочки с использованием фильтрации Габора и почему он работает для текстуры радужной оболочки.
Извлечение признаков радужной оболочки направлено на извлечение наиболее характерных признаков из изображений радужной оболочки при уменьшении размерности данных за счет удаления несвязанных или избыточных данных. В отличие от 2D-изображений лица, которые в основном определяются краями и формами, изображения радужной оболочки имеют богатую и сложную текстуру с повторяющимися (полупериодическими) паттернами локальных изменений интенсивности изображения [1]. Другими словами, изображения радужной оболочки содержат сильные сигналы как в пространственной, так и в частотной областях и должны анализироваться в обеих областях. Примеры изображений радужной оболочки можно найти на сайте Джона Даугмана.
Исследования показали, что локализованное представление частоты и ориентации фильтров Габора очень похоже на представление зрительной коры человека и распознавание текстуры [2]. Фильтр Габора анализирует определенное частотное содержимое в определенном направлении в локальной области изображения. Он широко используется в обработке сигналов и изображений из-за его оптимальной совместной компактности в пространственной и частотной области.
Как показано выше, фильтр Габора можно рассматривать как синусоидальный сигнал определенной частоты и ориентации, модулированный волной Гаусса. Математически это можно определить как
с
Среди параметров σ и γ представляют собой стандартное отклонение и пространственное соотношение сторон гауссовой огибающей соответственно, λ и ϕ представляют собой длину волны и фазовый сдвиг синусоидального фактора, соответственно, а θ представляет собой ориентацию функции Габора. В зависимости от настройки фильтр Габора может разрешать зависимости пикселей, лучше всего описываемые узкими спектральными полосами. В то же время его пространственная компактность приспосабливает пространственные неровности. Подробнее см. [3]. На следующем рисунке показана серия фильтров Gabor на 45 ∘ угла в увеличении спектральной селективности. В то время как крайний левый вейвлет Габора напоминает гауссиану, крайний правый вейвлет Габора следует гармонической функции и выбирает очень узкую полосу из спектра. Лучше всего для выделения признаков радужной оболочки глаза находятся посередине между двумя крайностями.
Поскольку фильтр Габора является сложным фильтром, реальная и мнимая части действуют как два фильтра в квадратуре. Более конкретно, как показано на рисунках ниже, (а) действительная часть является четно-симметричной и дает сильный отклик на такие особенности, как линии; в то время как (b) мнимая часть нечетно-симметрична и будет сильно реагировать на такие особенности, как края. Важно, чтобы мы поддерживали нулевую постоянную составляющую в четно-симметричном фильтре (нечетно-симметричный фильтр уже имеет нулевую постоянную составляющую). Это гарантирует нулевую реакцию фильтра на постоянной области изображения независимо от интенсивности изображения.
Как и большинство текстур, текстура радужной оболочки существует в нескольких масштабах (контролируемых σ). Поэтому естественно представить его с помощью фильтров нескольких размеров. Многие такие системы мультимасштабных фильтров следуют принципу построения вейвлетов, то есть ядра (фильтры) в каждом слое являются масштабированными версиями ядер в предыдущем слое и, в свою очередь, масштабированными версиями материнского вейвлета. Это устраняет избыточность и приводит к более компактному представлению. Вейвлеты Габора могут дополнительно настраиваться ориентациями, заданными параметром θ. На рисунке ниже показана действительная часть 28 вейвлетов Габора с четырьмя масштабами и 7 ориентациями.
В нашем процессе извлечения признаков мы используем небольшой набор фильтров, которые концентрируются в диапазоне масштабов и ориентаций наиболее характерной текстуры радужной оболочки.
После применения фильтра Габора к изображению радужной оболочки отклик фильтра в каждой анализируемой области затем демодулируется для извлечения информации о его фазе [4]. Этот процесс показан на рисунке ниже, так как он определяет, в каком квадранте комплексной плоскости проецируется каждый отклик фильтра. Обратите внимание, что записывается только информация о фазе, потому что она более надежна, чем величина, которая может быть искажена посторонними факторами, такими как освещение, контрастность изображения и усиление камеры.
Другая желательная особенность фазово-квадрантной демодуляции состоит в том, что она создает циклический код. В отличие от двоичного кода, в котором могут измениться два бита, что делает некоторые ошибки сколь угодно более дорогостоящими, чем другие, циклический код допускает изменение только одного бита при переключении между любыми соседними фазовыми квадрантами [4]. Важно отметить, что когда ответ находится очень близко к границе между соседними квадрантами, его результирующий код считается хрупким битом. Эти хрупкие биты обычно менее стабильны и могут переворачивать значения из-за изменений освещения, размытия или шума. Существует множество методов работы с хрупкими битами, и одним из таких методов может быть присвоение им меньших весов во время сопоставления. Когда к заданному изображению радужной оболочки применяется многомасштабная фильтрация Габора, соответственно создаются несколько кодов радужной оболочки, которые объединяются для формирования окончательного шаблона радужной оболочки. В зависимости от количества фильтров и коэффициентов их шага шаблон радужной оболочки может быть на два-три порядка меньше, чем исходное изображение радужной оболочки.
Поскольку коды диафрагмы генерируются на основе фазовых характеристик фильтрации Габора, они считаются довольно устойчивыми к освещенности, размытию и шуму. Чтобы измерить это количественно, мы добавляем каждый эффект, а именно, освещение (гамма-коррекция), размытие (гауссова фильтрация) и гауссов шум к изображению радужной оболочки, соответственно, в медленном прогрессии и измеряем дрейф кода радужной оболочки. Величина добавленного эффекта измеряется среднеквадратичной ошибкой (RMSE) значений пикселей между измененным и исходным изображением, а величина дрейфа измеряется расстоянием Хэмминга между новым и исходным кодом диафрагмы.
Математически RMSE определяется как:
где N — количество пикселей в исходном изображении I и измененном изображении I′ . Расстояние Хэмминга определяется как:
где K - количество битов (0/1) в исходном коде радужной оболочки C и новом коде радужной оболочки C′ . Расстояние Хэмминга, равное 0, означает идеальное совпадение, а 1 означает, что коды диафрагм полностью противоположны. Расстояние Хэмминга между двумя случайно сгенерированными кодами радужной оболочки составляет около 0,5. Следующие рисунки помогают нам визуально и количественно понять влияние освещения, размытия и шума на надежность кодов диафрагмы. В иллюстративных целях эти результаты не генерируются с фактическими развернутыми нами фильтрами, но, тем не менее, демонстрируют общее свойство фильтрации Габора. Кроме того, изображение радужной оболочки было нормализовано от круглой формы в декартовых координатах до прямоугольной формы фиксированного размера в полярных координатах. Этот шаг необходим для стандартизации формата, маскирования окклюзии и улучшения текстуры радужной оболочки. Как показано на рисунке ниже, коды радужной оболочки очень устойчивы к преобразованиям уровня серого, связанным с освещением, поскольку HD почти не меняется с увеличением RMSE. Это связано с тем, что увеличение яркости пикселей уменьшает динамический диапазон значений пикселей, но почти не влияет на частотные или пространственные свойства текстуры радужной оболочки.
С другой стороны, размытие снижает контрастность изображения и может привести к искажению текстуры радужной оболочки. Однако, как показано ниже, коды радужной оболочки остаются относительно надежными, даже когда сильное размытие делает текстуру радужной оболочки неразличимой невооруженным глазом. Это связано с тем, что фазовая информация от фильтрации Габора фиксирует местоположение и наличие текстуры, а не ее силу. Пока присутствует частотное или пространственное свойство текстуры радужной оболочки, хотя и сильно ослабленное, коды радужной оболочки остаются стабильными. Обратите внимание, что размытие компрометирует высокочастотную текстуру радужной оболочки, поэтому больше влияет на высокочастотные фильтры Габора, поэтому мы используем банк многомасштабных фильтров Габора.
Наконец, мы наблюдаем большие изменения в кодах радужной оболочки при добавлении гауссовского шума, поскольку и пространственные, и частотные компоненты текстуры загрязняются, а большее количество битов становится хрупкими. Когда текстура радужной оболочки перегружена шумом и становится неразличимой, дрейф в кодах радужной оболочки все еще мал с расстоянием Хэмминга ниже 0,2 по сравнению с сопоставлением двух случайных кодов радужной оболочки (≈0,5). Это демонстрирует эффективность выделения характеристик радужной оболочки с использованием фильтров Габора даже при наличии шума.
В этом сообщении блога мы обсудили извлечение признаков радужной оболочки как необходимый и важный шаг в распознавании радужной оболочки. Он уменьшает размерность представления радужной оболочки от изображения с высоким разрешением до строки двоичного кода, сохраняя при этом наиболее отличительные особенности текстуры с помощью банка фильтров Габора. Стоит отметить, что фильтры Габора имеют свои ограничения, например, нельзя проектировать фильтры Габора со сколь угодно широкой полосой пропускания, сохраняя при этом околонулевую постоянную составляющую в четно-симметричном фильтре. Это ограничение можно обойти, используя фильтры Log Gabor [5]. Кроме того, фильтры Габора не обязательно оптимизированы для текстуры радужной оболочки, а машинно-обучаемые фильтры, специфичные для области радужной оболочки (например, BSIF), могут обеспечить дальнейшее улучшение эффективности извлечения признаков и распознавания в целом [6]. Кроме того, мы изучаем новые подходы к использованию изображений более высокого качества и последние достижения в области глубокого метрического обучения и глубокого репрезентативного обучения, чтобы вывести на новый уровень распознавание радужной оболочки глаза. Поскольку мы продемонстрировали устойчивость выделения признаков радужной оболочки к внешним факторам, важно отметить, что даже незначительные колебания в изменчивости кода радужной оболочки имеют большое значение при работе с миллиардом человек, поскольку хвостовая часть распределения диктует частоту ошибок, таким образом влияет на количество ложных отказов. Мы подробнее остановимся на этой теме в следующем посте в блоге.
Рекомендации
В этом сообщении блога мы обсуждаем традиционный метод извлечения признаков радужной оболочки с использованием фильтрации Габора и почему он работает для текстуры радужной оболочки.
Извлечение признаков радужной оболочки направлено на извлечение наиболее характерных признаков из изображений радужной оболочки при уменьшении размерности данных за счет удаления несвязанных или избыточных данных. В отличие от 2D-изображений лица, которые в основном определяются краями и формами, изображения радужной оболочки имеют богатую и сложную текстуру с повторяющимися (полупериодическими) паттернами локальных изменений интенсивности изображения [1]. Другими словами, изображения радужной оболочки содержат сильные сигналы как в пространственной, так и в частотной областях и должны анализироваться в обеих областях. Примеры изображений радужной оболочки можно найти на сайте Джона Даугмана.
Исследования показали, что локализованное представление частоты и ориентации фильтров Габора очень похоже на представление зрительной коры человека и распознавание текстуры [2]. Фильтр Габора анализирует определенное частотное содержимое в определенном направлении в локальной области изображения. Он широко используется в обработке сигналов и изображений из-за его оптимальной совместной компактности в пространственной и частотной области.
Как показано выше, фильтр Габора можно рассматривать как синусоидальный сигнал определенной частоты и ориентации, модулированный волной Гаусса. Математически это можно определить как
с
Среди параметров σ и γ представляют собой стандартное отклонение и пространственное соотношение сторон гауссовой огибающей соответственно, λ и ϕ представляют собой длину волны и фазовый сдвиг синусоидального фактора, соответственно, а θ представляет собой ориентацию функции Габора. В зависимости от настройки фильтр Габора может разрешать зависимости пикселей, лучше всего описываемые узкими спектральными полосами. В то же время его пространственная компактность приспосабливает пространственные неровности. Подробнее см. [3]. На следующем рисунке показана серия фильтров Gabor на 45 ∘ угла в увеличении спектральной селективности. В то время как крайний левый вейвлет Габора напоминает гауссиану, крайний правый вейвлет Габора следует гармонической функции и выбирает очень узкую полосу из спектра. Лучше всего для выделения признаков радужной оболочки глаза находятся посередине между двумя крайностями.
Поскольку фильтр Габора является сложным фильтром, реальная и мнимая части действуют как два фильтра в квадратуре. Более конкретно, как показано на рисунках ниже, (а) действительная часть является четно-симметричной и дает сильный отклик на такие особенности, как линии; в то время как (b) мнимая часть нечетно-симметрична и будет сильно реагировать на такие особенности, как края. Важно, чтобы мы поддерживали нулевую постоянную составляющую в четно-симметричном фильтре (нечетно-симметричный фильтр уже имеет нулевую постоянную составляющую). Это гарантирует нулевую реакцию фильтра на постоянной области изображения независимо от интенсивности изображения.
Как и большинство текстур, текстура радужной оболочки существует в нескольких масштабах (контролируемых σ). Поэтому естественно представить его с помощью фильтров нескольких размеров. Многие такие системы мультимасштабных фильтров следуют принципу построения вейвлетов, то есть ядра (фильтры) в каждом слое являются масштабированными версиями ядер в предыдущем слое и, в свою очередь, масштабированными версиями материнского вейвлета. Это устраняет избыточность и приводит к более компактному представлению. Вейвлеты Габора могут дополнительно настраиваться ориентациями, заданными параметром θ. На рисунке ниже показана действительная часть 28 вейвлетов Габора с четырьмя масштабами и 7 ориентациями.
В нашем процессе извлечения признаков мы используем небольшой набор фильтров, которые концентрируются в диапазоне масштабов и ориентаций наиболее характерной текстуры радужной оболочки.
После применения фильтра Габора к изображению радужной оболочки отклик фильтра в каждой анализируемой области затем демодулируется для извлечения информации о его фазе [4]. Этот процесс показан на рисунке ниже, так как он определяет, в каком квадранте комплексной плоскости проецируется каждый отклик фильтра. Обратите внимание, что записывается только информация о фазе, потому что она более надежна, чем величина, которая может быть искажена посторонними факторами, такими как освещение, контрастность изображения и усиление камеры.
Другая желательная особенность фазово-квадрантной демодуляции состоит в том, что она создает циклический код. В отличие от двоичного кода, в котором могут измениться два бита, что делает некоторые ошибки сколь угодно более дорогостоящими, чем другие, циклический код допускает изменение только одного бита при переключении между любыми соседними фазовыми квадрантами [4]. Важно отметить, что когда ответ находится очень близко к границе между соседними квадрантами, его результирующий код считается хрупким битом. Эти хрупкие биты обычно менее стабильны и могут переворачивать значения из-за изменений освещения, размытия или шума. Существует множество методов работы с хрупкими битами, и одним из таких методов может быть присвоение им меньших весов во время сопоставления. Когда к заданному изображению радужной оболочки применяется многомасштабная фильтрация Габора, соответственно создаются несколько кодов радужной оболочки, которые объединяются для формирования окончательного шаблона радужной оболочки. В зависимости от количества фильтров и коэффициентов их шага шаблон радужной оболочки может быть на два-три порядка меньше, чем исходное изображение радужной оболочки.
Поскольку коды диафрагмы генерируются на основе фазовых характеристик фильтрации Габора, они считаются довольно устойчивыми к освещенности, размытию и шуму. Чтобы измерить это количественно, мы добавляем каждый эффект, а именно, освещение (гамма-коррекция), размытие (гауссова фильтрация) и гауссов шум к изображению радужной оболочки, соответственно, в медленном прогрессии и измеряем дрейф кода радужной оболочки. Величина добавленного эффекта измеряется среднеквадратичной ошибкой (RMSE) значений пикселей между измененным и исходным изображением, а величина дрейфа измеряется расстоянием Хэмминга между новым и исходным кодом диафрагмы.
Математически RMSE определяется как:
где N — количество пикселей в исходном изображении I и измененном изображении I′ . Расстояние Хэмминга определяется как:
где K - количество битов (0/1) в исходном коде радужной оболочки C и новом коде радужной оболочки C′ . Расстояние Хэмминга, равное 0, означает идеальное совпадение, а 1 означает, что коды диафрагм полностью противоположны. Расстояние Хэмминга между двумя случайно сгенерированными кодами радужной оболочки составляет около 0,5. Следующие рисунки помогают нам визуально и количественно понять влияние освещения, размытия и шума на надежность кодов диафрагмы. В иллюстративных целях эти результаты не генерируются с фактическими развернутыми нами фильтрами, но, тем не менее, демонстрируют общее свойство фильтрации Габора. Кроме того, изображение радужной оболочки было нормализовано от круглой формы в декартовых координатах до прямоугольной формы фиксированного размера в полярных координатах. Этот шаг необходим для стандартизации формата, маскирования окклюзии и улучшения текстуры радужной оболочки. Как показано на рисунке ниже, коды радужной оболочки очень устойчивы к преобразованиям уровня серого, связанным с освещением, поскольку HD почти не меняется с увеличением RMSE. Это связано с тем, что увеличение яркости пикселей уменьшает динамический диапазон значений пикселей, но почти не влияет на частотные или пространственные свойства текстуры радужной оболочки.
С другой стороны, размытие снижает контрастность изображения и может привести к искажению текстуры радужной оболочки. Однако, как показано ниже, коды радужной оболочки остаются относительно надежными, даже когда сильное размытие делает текстуру радужной оболочки неразличимой невооруженным глазом. Это связано с тем, что фазовая информация от фильтрации Габора фиксирует местоположение и наличие текстуры, а не ее силу. Пока присутствует частотное или пространственное свойство текстуры радужной оболочки, хотя и сильно ослабленное, коды радужной оболочки остаются стабильными. Обратите внимание, что размытие компрометирует высокочастотную текстуру радужной оболочки, поэтому больше влияет на высокочастотные фильтры Габора, поэтому мы используем банк многомасштабных фильтров Габора.
Наконец, мы наблюдаем большие изменения в кодах радужной оболочки при добавлении гауссовского шума, поскольку и пространственные, и частотные компоненты текстуры загрязняются, а большее количество битов становится хрупкими. Когда текстура радужной оболочки перегружена шумом и становится неразличимой, дрейф в кодах радужной оболочки все еще мал с расстоянием Хэмминга ниже 0,2 по сравнению с сопоставлением двух случайных кодов радужной оболочки (≈0,5). Это демонстрирует эффективность выделения характеристик радужной оболочки с использованием фильтров Габора даже при наличии шума.
В этом сообщении блога мы обсудили извлечение признаков радужной оболочки как необходимый и важный шаг в распознавании радужной оболочки. Он уменьшает размерность представления радужной оболочки от изображения с высоким разрешением до строки двоичного кода, сохраняя при этом наиболее отличительные особенности текстуры с помощью банка фильтров Габора. Стоит отметить, что фильтры Габора имеют свои ограничения, например, нельзя проектировать фильтры Габора со сколь угодно широкой полосой пропускания, сохраняя при этом околонулевую постоянную составляющую в четно-симметричном фильтре. Это ограничение можно обойти, используя фильтры Log Gabor [5]. Кроме того, фильтры Габора не обязательно оптимизированы для текстуры радужной оболочки, а машинно-обучаемые фильтры, специфичные для области радужной оболочки (например, BSIF), могут обеспечить дальнейшее улучшение эффективности извлечения признаков и распознавания в целом [6]. Кроме того, мы изучаем новые подходы к использованию изображений более высокого качества и последние достижения в области глубокого метрического обучения и глубокого репрезентативного обучения, чтобы вывести на новый уровень распознавание радужной оболочки глаза. Поскольку мы продемонстрировали устойчивость выделения признаков радужной оболочки к внешним факторам, важно отметить, что даже незначительные колебания в изменчивости кода радужной оболочки имеют большое значение при работе с миллиардом человек, поскольку хвостовая часть распределения диктует частоту ошибок, таким образом влияет на количество ложных отказов. Мы подробнее остановимся на этой теме в следующем посте в блоге.
Рекомендации
No activity yet