Oguzhan Ulucan

• The human visual system is able to unconsciously estimate the physical reflectances of objects by discounting the effects of the environmental context, i.e., the light source, which is called color constancy. However, under certain conditions, it perceives the colors of objects quite differently from the actual physical reflectance. Color assimilation illusions are perfect examples of such conditions. In the field of computational neuroscience, the focus is on mimicking our sensations related to the illusions and understanding human color constancy, while in computer vision studies, the aim is to perform color constancy, i.e., auto white-balancing, by removing the effects of a light source with a non-uniform power distribution that is illuminating the scene. Both color constancy and perception of the illusions are the results of the unknown mechanism of the human visual system, and investigations on both concepts might be the key that allow the researchers to unravel how the human visual system processes color information, thus allowing us in the field of computer vision to design more robust algorithms mimicking the capabilities of the human visual system. The importance of solving both phenomena with a single method is desired as stressed in various studies. Yet, to the best of available knowledge, there is no study that reproduces our perception of color assimilation illusions while also performing color constancy by thoroughly analyzing it from the perspective of computer vision. Therefore, in this thesis, both phenomena are analyzed together to develop a single method that can perform computational color constancy while also replicating the perceptual effects of visual illusions. The thesis is divided into two main parts. First, it explores computational color constancy in detail, introducing new methods and a dataset, while also improving existing techniques through modifications inspired by research findings. The proposed algorithm and the modification strategies are evaluated across multiple benchmarks, demonstrating their effectiveness in estimating scene illumination. The second part investigates color assimilation illusions from the perspective of computational color constancy, illustrating how these illusions can be utilized to enhance existing algorithms' performance. Finally, the thesis presents a single method that integrates existing biological findings with the observations obtained during the investigations on computational color constancy to achieve color constancy, while also mimicking human perception when observing color illusions. The proposed learning-free algorithm relies on the introduced multiresolution color constancy strategy alongside a modified version of the local space average color method. The performance of the proposed method is thoroughly investigated on both color assimilation illusions and various color constancy benchmarks. Consequently, this thesis demonstrates that integrating findings from human perception and computational algorithms can significantly benefit computational color constancy, and enable us to design a single method that can achieve color constancy and mimic our sensation on color assimilation illusions.
• Das menschliche visuelle System ist in der Lage, die tatsächlichen physikalischen Reflektanz von Objekten unbewusst zu schätzen, indem es die Auswirkungen des umgebenden Kontexts, d.h. der Lichtquelle, herausrechnet. Dies wird als Farbkonstanz bezeichnet. Unter bestimmten Bedingungen hingegen nimmt es die Farben von Objekten ganz anders wahr als die tatsächliche physikalische Reflektanz. Farbassimilation Illusionen sind ein perfektes Beispiel für solche Bedingungen. Im Bereich der computergestützten Neurowissenschaft liegt der Fokus darauf, unsere Empfindungen in Bezug auf diese Illusionen nachzuahmen, während in der Computer Vision das Ziel darin besteht, Farbkonstanz, d.h. einen automatischen Weissabgleich, zu erreichen, indem die Auswirkungen der in der Szene vorhandenen nicht-uniformen Energieverteilung der Lichtquelle entfernt werden. Allerdings ist in verschiedenen Studien festzustellen, dass es wünschenswert ist, beide Phänomene mit einer einzigen Methode zu lösen, um das menschliche visuelle System besser zu verstehen und robustere Algorithmen für die Computer Vision zu entwickeln. Nach dem besten verfügbaren Wissen gibt es keine Studie, die unsere Wahrnehmung von Farbassimilation Illusionen reproduziert, während sie gleichzeitig Farbkonstanz erreicht, wobei sie diese aus der Perspektive der Computer Vision gründlich analysiert. Daher werden in dieser Dissertation sowohl Farbkonstanz als auch Farbassimilation Illusionen analysiert, um eine einzige Methode zu entwickeln, die Farbkonstanz erreichen kann, während sie gleichzeitig die perzeptuellen Effekte visueller Illusionen repliziert. Diese Dissertation enthält zwei Hauptteile. Im ersten Teil wird die computergestützte Farbkonstanz detailliert untersucht, indem neue Methoden und ein Datensatz eingeführt werden, während bestehende Techniken durch Modifikationen basierend auf den gewonnenen Beobachtungen die während der Forschungen in dieser Thesis gemacht worden sind, verbessert werden. Alle vorgeschlagenen Algorithmen und Modifikationsstrategien werden gründlich an verschiedenen Benchmarks mit unterschiedlichen Eigenschaften untersucht, um ihre Wirksamkeit bei der Schätzung der Farbe der Beleuchtung zu demonstrieren. Im zweiten Teil werden dann Farbassimilationsillusionen schrittweise aus der Perspektive der computergestützten Farbkonstanz analysiert, um zu zeigen, dass diese Illusionen nützliche Werkzeuge für die Gestaltung und Verbesserung von Farbkonstanzalgorithmen sind. Schließlich wird eine einzige Methode entwickelt, die sowohl Farbkonstanz erreichen als auch unsere Wahrnehmung von Farbassimilationsillusionen nachahmen kann, indem bestehende biologische Erkenntnisse über das menschliche visuelle System mit Beobachtungen aus den Untersuchungen zur computergestützten Farbkonstanz kombiniert werden. Der vorgeschlagene lernfreie Algorithmus basiert auf der eingeführten multiresolution color constancy-Strategie in Kombination mit einer modifizierten Version der Methode der lokalen durchschnittlichen Farbe. Die Wirksamkeit der vorgeschlagenen Methode wird an verschiedenen Farbassimilationsillusionen untersucht, und die Leistung der Farbkonstanz wird detailliert an verschiedenen Benchmarks berichtet. Folglich zeigt diese Dissertation, dass die Integration von Erkenntnissen aus der menschlichen Wahrnehmung und computergestützten Algorithmen die rechnergestützte Farbkonstanz erheblich verbessern kann. Darüber hinaus ermöglicht sie die Entwicklung einer einheitlichen Methode, die sowohl Farbkonstanz erreicht als auch unsere Empfindung bei Farbassimilationstäuschungen nachahmen kann.