Neural and perceptual correlates of individual gaze behavior in complex scenes

Die Wahrnehmung von Szenen ist keine passive Registrierung visueller Reize, sondern ein aktiver, selektiver Prozess, durch den Beobachter komplexe visuelle Umgebungen erkunden und interpretieren. Interessanterweise unterscheiden sich Personen systematisch darin, wohin sie blicken, wenn sie dieselbe Szene betrachten. So fixieren manche Personen beispielsweise Gesichter doppelt so häufig wie andere, während wiederum andere deutlich häufiger auf Text schauen. Diese Dissertation untersucht, wie solche systematischen individuellen Unterschiede während der Szenenbetrachtung mit der neuronalen Organisation im ventralen visuellen Verarbeitungspfad und mit perzeptuellen Konsequenzen zusammenhängen. In zwei Studien zeigen wir, dass individuelle Unterschiede in der Tendenz, Gesichter und Text zu fixieren, systematisch mit kategorieselektiven Hirnrepräsentationen sowie mit der Art und Weise zusammenhängen, wie Versuchspersonen Szenen beschreiben. Die erste Studie untersucht den Zusammenhang zwischen individuellen Fixationspräferenzen für Gesichter und Text und kategorieselektiven Aktivitäten im ventralen Pfad. Wir zeigen, dass die individuellen Tendenzen, Gesichter und Text zu fixieren, mit der Distinktheit verteilter neuronaler Aktivitätsmuster für diese Kategorien zusammenhängen. Dieser Zusammenhang ist besonders ausgeprägt für Erstfixationen, die zudem mit der Größe gesichts- und wortselektiver Areale korrelieren. Darüber hinaus hängt die Distinktheit kategoriespezifischer neuronaler Aktivitätsmuster mit der Leistung in entsprechenden Verhaltensaufgaben zusammen. Diese Befunde legen nahe, dass aktives Sehen mit der Selektivität für bestimmte Kategories im ventralen Pfad verknüpft ist und bevorzugt auf Objektkategorien gerichtet ist, die im individuellen Gehirn besonders distinkt repräsentiert sind. Die zweite Studie untersucht, ob solche systematischen Unterschiede in Blickpräferenzen mit Unterschieden in der perzeptuellen Wahrnehmung einhergehen. Wir zeigen, dass Versuchspersonen mit ähnlichen Blickmustern auch dazu tendieren, ähnlichere Beschreibungen zu produzieren, insbesondere in ihrer Substantivverwendung. Dieser Zusammenhang generalisiert über unabhängige Szenen hinweg. Darüber hinaus korreliert die Tendenz, sich auf Personen oder Text zu konzentrieren, mit der Häufigkeit, mit der diese Kategorien in Beschreibungen erwähnt werden. Zudem zeigen sich negative Korrelationen in der Priorisierung von Personen versus Text sowohl im Blickverhalten als auch in den Beschreibungen. Diese Befunde sprechen für eine stabile Kopplung zwischen Blickverhalten und Szenenbeschreibung. Zusammenfassend zeigen die Ergebnisse eine systematische Kovariation zwischen aktivem Sehen, individueller neuronaler Organisation, Verhaltensleistung und perzeptuellen Interpretationen von Szenen. Idiosynkratische kategorieselektive Repräsentationen im ventralen Pfad gehen mit stabilen Blickprioritäten für sozial und kulturell relevante Kategorien wie Gesichter und Text einher, und diese scheinen mit der perzeptuellen Information zusammenzuhängen, die in Beschreibungen integriert wird. Diese Dissertation plädiert daher dafür, individuelle Variabilität nicht als Rauschen, sondern als bedeutungsvolles Signal zu betrachten, um ein umfassenderes Verständnis der menschlichen visuellen Verarbeitung und Wahrnehmung zu ermöglichen. English Summary Scene perception is not a passive registration of visual input but an active, selective process through which observers explore and make sense of complex visual environments. Interestingly, people differ systematically in where they look when viewing the same scene. For example, some people fixate faces twice as much as others, while others fixate text much more than others do. This thesis investigates how such systematic individual differences during scene viewing relate to neural organization in the ventral stream and to perceptual consequences. Across two studies, we show that individual differences in the tendency to prioritize faces and text are systematically linked to category-selective brain representations and how observers describe scenes. The first study examines how individual fixation preferences for faces and text relate to category-selective responses in the ventral stream. We show that individual tendencies to fixate faces and text are related to representational distinctiveness of distributed responses for these categories. This link is especially evident for first fixation tendencies, which also correlate with the size of face- and word-selective regions. Additionally, the distinctiveness of category-specific neural responses is linked to performance in corresponding behavioral tasks. These associations suggest that active vision is linked to category-selectivity in the ventral stream and preferentially targets object categories that are distinctively represented in the individual brain. The second study examines whether such gaze biases translate into systematic differences in perception. We find that observers who look more similar at scene elements also tend to produce more similar descriptions, especially in their noun usage. This link generalizes across independent scene sets. Moreover, the tendency to dwell on people or text correlates with how often these categories are referenced in descriptions. We observed anti-correlations in the prioritization of people versus text in gaze behavior as well as in descriptions. These observations support a trait-like coupling between where individuals look and how they describe scenes. Taken together, our findings outline a systematic pattern of covariation between active vision, individual neural organization, behavioral task performance, and perceptual interpretations of scenes. Idiosyncratic category-selective representations in the ventral stream are associated with stable gaze priorities for socially and culturally relevant categories such as faces and text. These priorities appear to be related to the perceptual information that is ultimately sampled and included in descriptions. This thesis therefore proposes that treating individual variability as meaningful signal, rather than noise, is crucial for a more comprehensive understanding of human visual processing and perception.

Collections

Dissertationen/Habilitationen

Full item page

Neural and perceptual correlates of individual gaze behavior in complex scenes

Files

Date

Authors

Advisors/Reviewers

Further Contributors

Contributing Institutions

Publisher

Journal Title

Journal ISSN

Volume Title

Publisher

License

Quotable link

Abstract

Link to publications or other datasets

Description

Notes

Original publication in

Original publication in

Anthology

Collections

URI of original publication

Forschungsdaten

Series

Citation