Technologia rozpoznawania twarzy może odczytać preferencje polityczne ze zdjęć profilowych

Artykuł opublikowany w „Nature” w wersji internetowej 11 stycznia 2021 r. Dostępny pod adresem: https://www.nature.com/articles/ s41598-020-79310-1 

Streszczenie

Twarze liberałów i konserwatystów konsekwentnie różnią się od siebie, dlatego wszechobecna technologia rozpoznawania twarzy może umożliwić ustalenie orientacji politycznej. Za pomocą algorytmu rozpoznawania twarzy przeanalizowano zdjęcia profilowe 1 085 795 osób w celu przewidzenia ich orientacji politycznej poprzez porównanie podobieństwa ich twarzy do twarzy innych osób o preferencjach liberalnych i konserwatywnych. Algorytm poprawnie sklasyfikował orientację polityczną dla 72% par twarzy liberalnych i konserwatywnych. Oznacza to, że poradził sobie znacznie lepiej niż wybór losowy (50%), człowiek (55%) lub kwestionariusz osobowości zawierający 100 pytań (66%). Trafność oceny była podobna w próbach z różnych krajów (Stany Zjednoczone, Kanada i Wielka Brytania) i serwisów online (Facebook i serwisy randkowe), a także gdy porównywano twarze pomiędzy próbami. Trafność oceny pozostawała wysoka (69%), nawet gdy kontrolowano wiek, płeć i pochodzenie etniczne. Biorąc pod uwagę powszechne zastosowanie technik rozpoznawania twarzy, nasze wyniki mają krytyczne znaczenie dla ochrony prywatności i swobód obywatelskich.

Narastają obawy, że powszechne zastosowanie technik rozpoznawania twarzy przyczyni się do dramatycznego spadku prywatności i swobód obywatelskich[1]. Kamery monitoringowe są dzisiaj wszechobecne. Istnieją też gigantyczne bazy danych wizerunków twarzy – publiczne profile w portalach społecznościowych czy krajowe rejestry dowodów tożsamości. Wszystko to sprawia, że rozpoznawanie poszczególnych osób, ustalanie ich lokalizacji i śledzenie ich interakcji społecznych staje się niepokojąco proste. Ponadto systemy rozpoznawania twarzy – w przeciwieństwie do wielu innych systemów biometrycznych – mogą być stosowane bez zgody i wiedzy analizowanych osób.

Nieustająca inwigilacja to niejedyne zagrożenie związane z rozpoznawaniem twarzy. Oprócz rozpoznania tożsamości danej osoby algorytmy umożliwiają rozpoznanie cech osobowych – niektóre z nich są powiązane z wyglądem twarzy. Podobnie jak ludzie algorytmy rozpoznawania twarzy są w stanie trafnie ustalić płeć, wiek, pochodzenie etniczne lub stan emocjonalny danej osoby[2,3]. Niestety, lista cech osobowych, które można określić na podstawie analizy twarzy, jest znacznie dłuższa niż tych kilka – w miarę oczywistych – przykładów.

Badania wskazują, że ludzie na podstawie zdjęć twarzy są w stanie ocenić uczciwość[4], osobowość[5], inteligencję[6], orientację seksualną[ 7], preferencje polityczne[8–12] i skłonności do przemocy[13] innych osób. Nie jest jasne, w jakim stopniu oceny te dokonywane są na podstawie stabilnych cech twarzy (morfologicznych), prezentacji (np. wyraz twarzy, makijaż, owłosienie twarzy, oś położenia głowy) czy cech demograficznych ocenianej osoby, które łatwo ze zdjęcia wyczytać (takich jak wiek, płeć, pochodzenie etniczne)[14]. Trafność oceny przez człowieka jest stosunkowo niska. Na przykład osoby proszone o rozróżnienie liberała i konserwatysty na podstawie ich twarzy osiągają trafność około 55% (obliczone na podstawie współczynnika d Cohena w Tskhay i Rule[15]), czyli tylko nieznacznie lepiej niż rzut monetą (50%). Co ważne, trafność oceny przez człowieka niekoniecznie oznacza granice tego, co można osiągnąć. To, że ludzie słabo sobie z tym radzą, może wynikać z niedostrzeżenia lub nieprawidłowej interpretacji cech twarzy powiązanych z cechami psychologicznymi. W tym kontekście należałoby zaznaczyć, że algorytmy radzą sobie doskonale z rozpoznawaniem związków pomiędzy zmiennymi w ogromnych zbiorach danych, których żaden człowiek nie byłby w stanie przetworzyć[16]. Dlatego komputery pokonują nas coraz częściej w zadaniach wizualnych, takich jak diagnozowanie raka skóry[17], rozpoznawanie twarzy[18]. Przodują nawet w ocenie jedynie na podstawie wyglądu twarzy cech bardziej intymnych, takich jak orientacja seksualna (76% – algorytm; 56% – człowiek)[7,19], osobowość (odpowiednio 64% i 57%; obliczono na podstawie współczynników r Pearsona)[20–22] oraz – jak pokazujemy tutaj – preferencje polityczne. (Z myślą o ułatwieniu interpretacji i porównań między badaniami w całym tekście wskaźnik dokładności przedstawiono w postaci obszaru pod krzywą charakterystyki operacyjnej odbiornika [AUC] – odpowiednika współczynnika testu Wilcoxona dla par obserwacji).

Metodologia

Badanie przeprowadziliśmy na próbie 1 085 795 uczestników z trzech krajów (Stany Zjednoczone, Wielka Brytania i Kanada; patrz Tabela 1). Wykorzystaliśmy dane dotyczące ich deklarowanej orientacji politycznej, wieku i płci. Obrazy ich twarzy (po jednym na osobę) pozyskaliśmy z ich profili na Facebooku lub w popularnym portalu randkowym. Takie samodzielnie wybrane zdjęcia zawierają wiele potencjalnych wskazówek dotyczących orientacji politycznej – od wyrazu twarzy i autoprezentacji począwszy, na morfologii twarzy skończywszy. Różnorodność etniczna próby (obejmującej ponad 347 000 uczestników o kolorze skóry innym niż biały), względna uniwersalność spektrum konserwatyzm–liberalizm[23] oraz wykorzystanie w badaniu zwykłych zdjęć przedstawiających twarze zwiększają prawdopodobieństwo, że wyniki naszych badań można generalizować na inne kultury, kraje i typy obrazów twarzy.

Naszym celem jest badanie zagrożeń dla prywatności, nie zaś opracowanie nowych narzędzi ją naruszających. Dlatego wykorzystaliśmy publicznie dostępny (open source) algorytm rozpoznawania twarzy – nie tworzyliśmy nowego, specjalnie do ustalania orientacji politycznej. Procedurę przedstawiono na rysunku 1. Aby ograniczyć rolę tła i cech niezwiązanych z morfologią twarzy do minimum, obrazy wykadrowano, tak żeby przedstawiały samą twarz, i dostosowano ich rozdzielczość do rozmiaru 224×224 piksele. Baza twarzy VGGFace2[24] została wykorzystana do konwersji obrazów do postaci deskryptorów twarzy, czyli wektorów o 2048 wartościach zawierających informacje o podstawowych cechach twarzy. Podobieństwo pomiędzy deskryptorami twarzy wykorzystuje się zazwyczaj do identyfikacji tych na tyle podobnych, że z dużym prawdopodobieństwem należą do tej samej osoby. Tutaj, żeby ustalić orientację polityczną danej osoby, porównano deskryptory jej twarzy z deskryptorami typowymi dla twarzy liberałów i konserwatystów. Deskryptory wprowadzono do walidowanego krzyżowo modelu regresji logistycznej w celu określenia orientacji politycznej (konserwatywnej lub liberalnej) deklarowanej przez osobę uczestniczącą w badaniu. Niemal identyczne wyniki uzyskano po zastosowaniu metod alternatywnych: klasyfikatora opartego na głębokiej sieci neuronowej oraz przy wykorzystaniu prostego stosunku pomiędzy średnim podobieństwem cosinusowym do twarzy liberałów i konserwatystów. Więcej szczegółów przedstawiono w Suplemencie dotyczącym metod.

Wyniki badania

Wyniki przedstawiono na rysunku 2 (niebieskie słupki). Wskaźniki trafności wyrażono w postaci AUC – ułamka poprawnych wskazań przy rozróżnianiu wszystkich możliwych par twarzy – jednej konserwatywnej i jednej liberalnej. W wy
padku największej próby, 862 770 użytkowników portali randkowych w Stanach Zjednoczonych, walidowana krzyżowo dokładność klasyfikacji wyniosła 72%, czyli była znacznie lepsza niż przypadek (50%). Przekłada się to na wartość współczynnika Cohena d = 0,83, czyli dużą wielkość efektu (Sawilowsky[25] sugeruje poniższą heurystykę do interpretacji wielkości efektu: bardzo mała [d ≥ 0,01], mała [d ≥ 0,2], średnia [d ≥ 0,5], duża [d ≥ 0,8], bardzo duża [d ≥ 1,2] i ogromna [d ≥ 2]). Podobną trafność odnotowano dla użytkowników portali randkowych w Kanadzie (71%) i Wielkiej Brytanii (70%). Predykcja działała dobrze nie tylko w przypadku środowiska portali randkowych: wskaźnik trafności algorytmu w klasyfikacji twarzy wyniósł 73% dla użytkowników Facebooka ze Stanów Zjednoczonych. Aby lepiej zobrazować, jak dobrze poradził sobie algorytm, warto wspomnieć, że trafność oceny przez człowieka w wypadku podobnych zadań wynosi 55% – nieznacznie powyżej przypadku (SD = 4%; CI95% = [52%, 58%])[15].

Ponadto, jak można zobaczyć w Tabeli 2, algorytm trafnie wskazywał orientację polityczną, nawet jeśli trenowano go na danych z innego kraju czy próby niż te, które były potem klasyfikowane. Na przykład model regresji trenowany na bazie użytkowników portali randkowych ze Stanów Zjednoczonych umiał rozróżnić liberalnych i konserwatywnych użytkowników portali randkowych w Kanadzie (68%) i Wielkiej Brytanii (67%), a także dla próby z Facebooka (71%). Średni wskaźnik trafności poza próbą wyniósł 68%, wskazując, że związki pomiędzy cechami twarzy a orientacją polityczną znacząco pokrywają się w zbadanych tutaj próbach i krajach.

Zarówno w rzeczywistości, jak i w naszej próbie preferencje polityczne można w pewnym stopniu ustalić na podstawie cech demograficznych, które łatwo odczytać z twarzy. Na przykład, jak wynika z literatury[26] i jak pokazano w tabeli 1, w Stanach Zjednoczonych osoby o białym kolorze skóry, osoby starsze i mężczyźni są bardziej skłonni do posiadania poglądów konserwatywnych. Można by więc zapytać, jak trafny byłby algorytm opierający swoje rozróżnienia na twarzach osób w tym samym wieku, tej samej płci i o tym samym pochodzeniu etnicznym? Aby uzyskać odpowiedź na to pytanie, ponownie obliczyliśmy wskaźniki trafności klasyfikacji, tym razem wykorzystując jedynie pary twarzy osób w tym samym wieku, tej samej płci i o tym samym pochodzeniu etnicznym.

Wyniki przedstawiono na rysunku 2 (szare słupki). Wskaźnik trafności spadł średnio zaledwie o 3,5%, osiągając odpowiednio 68%, 68%, 65% i 71% dla użytkowników portali randkowych ze Stanów Zjednoczonych, Kanady i Wielkiej Brytanii i użytkowników Facebooka ze Stanów Zjednoczonych. Sugeruje to, że twarze zawierają dużo więcej wskazówek dotyczących orientacji politycznej niż tylko wiek, płeć i pochodzenie etniczne.

Kolejnym czynnikiem wpływającym na trafność klasyfikacji jest jakość oceny preferencji politycznych. Mimo iż zastosowany w niniejszym opracowaniu podział dychotomiczny (konserwatyści–liberałowie) jest szeroko używany w literaturze, daje on bardzo uproszczony obraz złożonych interpersonalnych różnic ideologicznych. Ponadto własne deklaracje orientacji politycznej są obarczone błędem efektu grupy odniesienia – tendencji respondentów do kontekstualnej oceny własnych cech w odniesieniu do znaczącej grupy porównawczej. Oznacza to, że osoba z konserwatywnego stanu Missisipi określająca się jako liberał mogłaby równie dobrze określić się jako konserwatysta po przeprowadzce do liberalnego Massachusetts. Gdyby oceny orientacji politycznej były bardziej precyzyjne (tj. obarczone mniejszym błędem), trafność algorytmu bazującego na cechach twarzy mogłaby być wyższa. Niezależnie zatem od oceny bezwzględnej trafności klasyfikacji warto porównać ją z trafnością alternatywnych metod przewidywania preferencji politycznych. Posłużyliśmy się przy tym osobowością – konstruktem psychologicznym ściśle związanym z orientacją polityczną i często wykorzystywanym do przybliżonego określania, jaką ktoś ma orientację polityczną[27]. Użytkownicy Facebooka wypełnili znany kwestionariusz osobowości[28], obejmujący sto pozycji i oparty na modelu pięcioczynnikowym. Ich wyniki wprowadzono do dziesięciokrotnie walidowanej krzyżowo regresji logistycznej w celu przewidzenia ich preferencji politycznych.

Wyniki przedstawione na Rysunku 3 sugerują, że najwyższą wartość predykcyjną mają wyniki w podskali otwartość na nowe doświadczenia (65%), a następnie kolejno sumienność (54%) i inne cechy. Podobnie jak we wcześniejszych badaniach[27] liberałowie byli bardziej otwarci na doświadczenie i nieco mniej sumienni. Razem pięć zbadanych składowych osobowości umożliwiło ustalenie orientacji politycznej z trafnością na poziomie 66% – istotnie niższą niż w wypadku zastosowania klasyfikatora bazującego na cechach twarzy w tej samej próbie (73%). Innymi słowy, pojedynczy obraz twarzy więcej mówi na temat orientacji politycznej danej osoby niż jej odpowiedzi w dość długim kwestionariuszu osobowości zawierającym wiele pozycji pozornie powiązanych z poglądami politycznymi (np. „Traktuję wszystkich jednakowo” lub: „Moim zdaniem zbyt wiele dochodu z podatków przeznacza się na wspieranie artystów”).

Wysoki wskaźnik trafności przewidywania orientacji politycznej na podstawie zdjęć twarzy świadczy o istnieniu znaczących różnic pomiędzy wizerunkami twarzy konserwatystów i liberałów. To, że wysokie wskaźniki trafności zaobserwowano także wtedy, gdy klasyfikacji dokonywano pomiędzy próbami, sugeruje, że niektóre cechy różnicujące są dość powszechne (przynajmniej w wykorzystanych w naszym badaniu próbach). Zbadaliśmy też korelacje pomiędzy preferencjami politycznymi a szeregiem interpretowalnych cech morfologicznych, w tym ustawieniem głowy (względem osi x, y i z; patrz rysunek 3), ekspresją emocjonalną (prawdopodobieństwo wyrażania smutku, obrzydzenia, gniewu, zaskoczenia i strachu), obecnością okularów (optycznych lub przeciwsłonecznych) oraz owłosieniem twarzy. Cechy te zostały wyodrębnione z obrazów twarzy i wprowadzone (oddzielnie i w zestawach) do dziesięciokrotnie walidowanej krzyżowo regresji logistycznej w celu predykcji preferencji politycznych danej osoby.

Wyniki przedstawione na rysunku 3 dotyczą użytkowników Facebooka (podobne wyniki uzyskano dla pozostałych prób; patrz Tabela uzupełniająca dostępna pod adresem https://bit.ly/3I7RzNn). Położenie głowy (58%) i ekspresja emocjonalna (57%) miały najwyższą wartość predykcyjną. Liberałowie częściej patrzyli prosto w kamerę, częściej wyrażali zdziwienie, rzadziej obrzydzenie. Trafność przewidywania orientacji politycznej na podstawie owłosienia twarzy i obecności okularów była minimalna (51–52%). Nawet gdy wprowadzono do modelu je wszystkie, interpretowalne cechy twarzy owocowały wskaźnikiem trafności, który wynosił zaledwie 59% – wynik istotnie niższy niż wskaźnik osiągany przez algorytm rozpoznawania twarzy dla tej samej próby (73%). Sugeruje to, że algorytm rozpoznawania twarzy bazuje na znacznie większej liczbie cech niż wyodrębnione tutaj. Być może bardziej szczegółowy obraz można by uzyskać, badając powiązania pomiędzy orientacją polityczną a cechami twarzy wyodrębnionymi ze zdjęć wykonanych w standaryzowanym otoczeniu, jednocześnie kontrolując czynniki takie jak owłosienie czy zadbanie twarzy, wyraz twarzy i oś położenia głowy.

Dyskusja

Zdolność algorytmów do ustalania cech osobowych na podstawie obrazów twarzy mogłaby poprawić jakość interakcji między człowiekiem a technologią, umożliwiając maszynom rozpoznawanie wieku lub stanu emocjonalnego użytkownika i odpowiednie dostosowanie swojego zachowania. Jednak te same algorytmy są w stanie szczegółowo przewidzieć atrybuty znacznie bardziej wrażliwe, takie jak orientacja seksualna[7], osobowość[20] czy – jak zademonstrowaliśmy tutaj – preferencje polityczne. Co więcej, choć wiele innych śladów cyfrowych zawiera informacje o orientacji politycznej i innych prywatnych cechach[ 29-34], twarz szczególnie trudno ukryć – zarówno podczas interakcji interpersonalnych, jak i w zapisach cyfrowych. Twarz może zostać w prosty (i potajemny) sposób sfotografowana przez funkcjonariusza służb porządkowych. Obrazy twarzy można również pozyskać z zasobów archiwów cyfrowych lub tradycyjnych, w tym z portali społecznościowych i randkowych, stron służących udostępnianiu zdjęć i rządowych baz danych. Obrazy twarzy są często łatwo dostępne, np. zdjęcia profilowe w portalach takich jak Facebook i LinkedIn są domyślnie publiczne, w związku z czym mogą być oglądane przez każdego, bez konieczności zgody i wiedzy osób, które przedstawiają. Zagrożenia dla prywatności związane z technologiami rozpoznawania twarzy są zatem pod wieloma względami bezprecedensowe.

Możliwość ustalania preferencji politycznych na podstawie obrazów twarzy niekoniecznie oznacza, że twarze liberałów i konserwatystów są zasadniczo różne ze względu na cechy wrodzone. Co prawda nie wykazano tu zbyt silnego powiązania pomiędzy orientacją polityczną a właściwościami takimi jak wyraz twarzy, oś położenia głowy, owłosienie twarzy czy obecność okularów. Jednak możliwe jest, że szerszy zakres i wyższa jakość ewaluacji tych i innych cech związanych z mimiką twarzy czy położeniem głowy (czy innych przejściowych właściwości twarzy) mogłyby dawać możliwość przewidzenia orientacji politycznej na podstawie zdjęć twarzy. Warto wspomnieć, że z punktu widzenia ochrony prywatności rozróżnianie pomiędzy wrodzonymi i przejściowymi cechami twarzy ma stosunkowo niewielkie znaczenie. Konsekwentna zmiana mimiki lub osi położenia głowy stanowiłaby wyzwanie nawet dla osoby, która wiedziałaby dokładnie, które elementy prezentacji zdradzają jej orientację polityczną. Co więcej, algorytmy najprawdopodobniej błyskawicznie nauczyłyby się wyodrębniać istotne informacje z innych cech – jest to wyścig zbrojeń, którego człowiek raczej nie ma szans wygrać.

Mogą pojawić się wątpliwości, czy opisywane tu wskaźniki trafności są wystarczająco wysokie, by powodować niepokój. Jednak opisane przez nas wyniki najpewniej nie stanowią górnej granicy tego, co jest możliwe. Większą trafność można by zapewne uzyskać, wykorzystując wiele obrazów dla każdej osoby, posługując się obrazami w wyższej rozdzielczości, trenując specjalne sieci neuronowe służące ustalaniu preferencji politycznych czy uwzględniając wskazówki niepowiązane z morfologią twarzy, takie jak fryzura, ubiór, nakrycie głowy czy tło obrazu. Należy również podkreślić, że postęp w komputerowym rozpoznawaniu obrazów i rozwój sztucznej inteligencji raczej w najbliższym czasie nie zwolnią. Co nie mniej istotne, nawet umiarkowanie trafne przewidywania zastosowane na dużych populacjach mogą mieć potężny wpływ w kontekście gry o wysoką stawkę – taką jak wybory polityczne. Na przykład nawet przybliżone szacunki cech psychologicznych danej grupy odbiorców mogą posłużyć do znacznego zwiększenia skuteczności masowej perswazji[35]. Mamy nadzieję, że naukowcy, decydenci, inżynierowie i obywatele wezmą powyższe pod uwagę.

Suplement dotyczący metod

Niniejsze badanie zostało poddane ocenie i otrzymało pozytywną opinię Komisji Etyki (IRB) Uniwersytetu Stanforda. Całość zastosowanych metod jest zgodna z obowiązującymi wytycznymi i przepisami. Dokumentacja prerejestracji badania jest dostępna na stronie https://osf.io/y5wr9. Notatki autora są dostępne na stronie https:// bit.ly/kosinski1.

Próba z portalu randkowego

Próba z portalu randkowego została nam udostępniona przez popularny portal randkowy w 2017 roku. Zawiera ona zdjęcia profilowe zamieszczone tam przez 977 777 użytkowników wraz z informacją o ich lokalizacji (kraj), deklarowanej orientacji politycznej, płci i wieku.

Preferencje polityczne ustalono na podstawie pytania wielokrotnego wyboru. Osoby wybierające opcję „Bardzo konserwatywny” (7%) lub „Konserwatywny” (20%) zaliczono do konserwatystów. Osoby wybierające opcję „Bardzo liberalny” (7%) lub „Liberalny” (16%) zaliczono do liberałów. Osoby wybierające opcję „Zielony” (1%), „Libertarianin” (2%), „Inny” (5%), „Centrysta” (17%) lub „Nie wiem” (26%) nie zostały włączone do próby (wymienione opcje odpowiedzi podano w formie nieco zmienionej, by chronić tożsamość źródła danych).

Z uwagi na fakt, że ludzie zwykle preferują partnerów o zbliżonych poglądach politycznych[36], prawdopodobieństwo podawania fałszywych informacji na temat preferencji politycznych w portalu randkowym jest raczej niskie. Za trafnością tej zmiennej przemawiają również wysoka trafność klasyfikacji i wysoka trafność zewnętrzna klasyfikatora orientacji politycznej.

Próba z Facebooka

Próba z Facebooka zawierała publiczne zdjęcia profilowe oraz informacje na temat wieku, płci, preferencji politycznych i wyniki kwestionariusza osobowości dla 108 018 ochotników, użytkowników portalu ze Stanów Zjednoczonych, zrekrutowanych online z wykorzystaniem wymienionego kwestionariusza w latach 2007–2012. Wynagrodzeniem dla uczestników badania była informacja zwrotna na temat uzyskanych wyników. Uczestnicy udzielili świadomej zgody na zapis i wykorzystanie ich danych w badaniach naukowych.

Osobowość uczestników badania określono na podstawie zawierającego sto pozycji kwestionariusza z kręgu narzędzi IPIP (International Personality Item Pool), opartego na pięcioczynnikowym modelu osobowości[28] i wykorzystującego pięciopunktową skalę Likerta z odpowiedziami od „Zdecydowanie się nie zgadzam” do „Zdecydowanie się zgadzam”. Współczynnik rzetelności α Cronbacha dla skal wyniósł 0,84, 0,92, 0,93, 0,88 i 0,93 odpowiednio dla otwartości, sumienności, ekstrawersji, ugodowości i neurotyczności. Dwie pozycje pomiaru otwartości wyłączono z punktacji, ponieważ zostały zastosowane do określenia orientacji politycznej uczestników (patrz niżej).

Orientację polityczną uczestników ustalono na podstawie treści pola „poglądy polityczne” w ich profilach oraz dwóch pozycji z kwestionariusza osobowości IPIP. By zostać uznanym za konserwatystę, uczestnik musiał określić się w swoim profilu jako „republikanin” (10%), „konserwatywny” (12%) lub „bardzo konserwatywny” (2%), a żeby zostać uznanym za liberała – jako „demokrata” (15%), „liberalny” (15%) lub „bardzo liberalny” (5%). Dodatkowo w kwestionariuszu IPIP, w pozycji „Zazwyczaj głosuję na liberalnych kandydatów politycznych”, by zostać uznanym za konserwatystę, uczestnik badania musiał nie zgadzać się (11%) lub zdecydowanie się nie zgadzać (9%), a żeby został uznany za liberała, musiał zgadzać się (16%) lub zdecydowanie zgad
zać się (26%). Z kolei w pozycji „Zazwyczaj głosuję na konserwatywnych kandydatów politycznych”, aby zostać uznanym za konserwatystę, uczestnik badania musiał zgadzać się (10%) lub zdecydowanie się zgadzać (12%), a żeby za liberała – nie zgadzać się (20%) lub zdecydowanie nie zgadzać się (17%). Uczestników niespełniających wymienionych kryteriów nie włączono do próby.

Obrazy twarzy

Zdjęcia przetworzono przy użyciu oprogramowania Face++[37] w celu detekcji twarzy. Obrazy przycięto według prostokąta wskazującego twarz w programie Face++ (niebieska ramka na Rysunku 1) i dostosowano ich rozdzielczość do rozmiaru 224 × 224 piksele. Obrazów z wizerunkami wielu twarzy lub rozpoznanych w obramowaniu węższym niż 70 pikseli nie włączono do próby.

Oprogramowanie Face++ wykorzystano również do rozpoznania wieku, płci i pochodzenia etnicznego uczestników badania (biali, czarni, wschodnioazjatyccy, Hindusi); osi położenia głowy (względem osi x, y i z; patrz rysunek 3); ekspresji emocjonalnej (prawdopodobieństwo wyrażania smutku, obrzydzenia, gniewu, zaskoczenia i strachu) oraz obecności okularów optycznych lub przeciwsłonecznych. Dokładność wymienionych ewaluacji była wysoka. Korelacja wieku przewidywanego i deklarowanego wyniosła R = 0,65 (p < 0,001; średnia kwadratowa błędów: trzy lata). Płeć przewidywana i deklarowana zgadzały się w wypadku 96% uczestników. Pochodzenie etniczne ustalone przez oprogramowanie Face++ i przez asystenta badawczego nieznającego hipotez badania było zgodne dla 88% z 27 023 zdjęć twarzy stanowiących podzbiór próby z Facebooka. Dwóch asystentów badawczych, którym nie ujawniono hipotez badawczych, oceniło wyraz twarzy i oś położenia głowy w podzbiorze 300 zdjęć z próby z Facebooka. Korelacja pomiędzy ich uśrednionymi ocenami a ewaluacją przez Face++ wyniosła średnio r = 0,72 (patrz Tabela uzupełniająca S2).

Algorytm klasyfikujący

W klasyfikacji wykorzystano deskryptory twarzy znormalizowane (L2) uzyskane z obrazów za pomocą modelu VGGFace2 w architekturze ResNet-50, pierwotnie trenowanego na niezależnej próbie ponad 3,3 mln zdjęć twarzy[24]. Przetestowaliśmy trzy sposoby pomiaru względnego podobieństwa twarzy do twarzy innych osób o poglądach liberalnych i konserwatywnych:

– Współczynnik podobieństwa cosinusowego: Dla każdej twarzy obliczyliśmy stosunek jej średniego cosinusowego podobieństwa do twarzy liberalnych oraz do średniego cosinusowego podobieństwa do twarzy konserwatywnych.

– Regresja logistyczna: Deskryptory twarzy zostały wprowadzone do regresji logistycznej LASSO[38] w celu rozróżnienia liberałów i konserwatystów. Zastosowaliśmy 30-krotną walidację krzyżową, aby przewidywania były ustalane przez klasyfikatory, które nie „widziały” wcześniej danego uczestnika. Parametrowi α nadano wartość 1; parametr δ dopasowano oddzielnie w każdym zbiorze treningowym przy użyciu dziesięciokrotnej walidacji krzyżowej.

– Sieci neuronowe: Deskryptory twarzy wprowadzono do 30-krotnie walidowanej krzyżowo głębokiej sieci neuronowej służącej do klasyfikacji liberałów i konserwatystów. Przetestowaliśmy kilka architektur sieci, jednak ich trafność w ocenie orientacji politycznej nie była znacząco wyższa niż ta zaobserwowana przy wykorzystaniu dwóch, znacznie prostszych, metod opisanych powyżej.

Z uwagi na fakt, że wszystkie trzy wymienione metody klasyfikowały twarze z podobną trafnością, zdecydowaliśmy się na zastosowanie regresji logistycznej LASSO. Jest ona wydajna pod względem obliczeniowym i dobrze znana wśród badaczy zajmujących się naukami społecznymi.

Trafność klasyfikacji

Trafność klasyfikacji wyrażono jako AUC. Szare słupki na Rysunku 2 ukazują wskaźnik trafności oszacowany dla par twarzy konserwatywno- liberalnych w tym samym wieku (± jeden rok), tej samej płci i tego samego pochodzenia etnicznego. Zastosowaliśmy ewaluacje wymienionych cech wygenerowane w programie Face++, ponieważ były one dostępne dla wszystkich badanych twarzy. Podobną trafność (71%) zaobserwowano, gdy pochodzenie etniczne oceniał asystent badawczy oraz gdy użyto deklarowanego wieku i płci (ocena pochodzenia etnicznego była dostępna dla podzbioru 27 023 obrazów w próbie z Facebooka).

Klasyfikator owłosienia twarzy

Klasyfikator owłosienia twarzy stworzono na podstawie deskryptorów twarzy wygenerowanych w modelu VGGFace2. Asystent badawczy, któremu nie ujawniono hipotez badania, ocenił 10 000 zdjęć twarzy męskich z próby z Facebooka pod kątem obecności owłosienia (zmienna dychotomiczna). Drugi asystent badawczy, również nieznający hipotez, ocenił podzbiór 2000 z wyżej wymienionego zbioru zdjęć: zgodność pomiędzy oceniającymi wyniosła 95%. Obecność owłosienia stwierdzono w przypadku 59% twarzy.

Wymienione uprzednio oceny stworzone przez człowieka zastosowano w procesie trenowania regresji logistycznej LASSO[38] wykorzystującej deskryptory twarzy do ustalenia prawdopodobieństwa, że na danej twarzy występuje owłosienie. Parametrowi α nadano wartość 1; parametr δ dopasowano przy użyciu dziesięciokrotnej walidacji krzyżowej. Trafność dziesięciokrotnie walidowanej krzyżowo klasyfikacji na próbie treningowej wyniosła AUC = 96%. Dostępne dane Zestawy danych (z wyłączeniem samych obrazów) i kod zastosowany do obliczenia wyników umieszczono na stronie https://osf.io/c58d3/.

Bibliografia
1 Santow, E. (2020). Emerging from AI utopia. „Science”, s. 368, 9–9.

2 Ranjan, R. i in. (2018). Deep Learning for Understanding Faces: Machines
May Be Just as Good, or Better, than Humans. IEEE Signal Process.
„Mag”, s. 35, 66–83.

3 Mollahosseini, A., Hasani, B., Mahoor, M. H. (2019). AffectNet: a Database
for Facial Expression, Valence, and Arousal Computing in the Wild.
IEEE Trans. Affect. Comput., s. 10, 1831.

4 Bond, C. F. Jr., Berry, D. S., Omar, A. (1994). The Kernel of Truth in
Judgments of Deceptiveness. „Basic Appl. Soc. Psychol.”, s. 15, 523–534.

5 Wolffhechel, K. i in. (2014). Interpretation of Appearance: the Effect
of Facial Features on First Impressions and Iersonality. „PLoS ONE”,
s. 9, e107721.

6 Zebrowitz, L. A., Hall, J. A., Murphy, N. A., Rhodes, G. (2002). Looking
Smart and Looking Good: Facial Cues to Intelligence and their Origins.
„Personal. Soc. Psychol. Bull.”, s. 28, 238–249.

7 Wang, Y., Kosinski, M. (2018). Deep Neural Networks are More Accurate
than Humans at Detecting Sexual Orientation from Facial Images.
„J. Pers. Soc. Psychol.”, s. 114, 246–257.

8 Rule, N. O., Ambady, N. (2010). Democrats and Republicans Can Be
Differentiated from their Faces. „PLoS ONE”, s. 5, e8733.

9 Samochowiec, J., Wänke, M., Fiedler, K. (2010). Political Ideology at
Face Value. „Soc. Psychol. Personal. Sci.”, s. 1, 206–213.

10 Jahoda, G. (1954). Political Attitudes and Judgments of Other People.
„J. Abnorm. Soc. Psychol.”, s. 49, 330–334.

11 Olivola, C. Y., Sussman, A. B., Tsetsos, K., Kang, O. E., Todorov, A. T.
(2012). Republicans Prefer Republican-Looking Leaders: Political Facial
Stereotypes Predict Candidate Electoral Success Among Right-Leaning
Voters. „Soc. Psychol. Personal. Sci.”, s. 3, 605–613.

12 Carpinella, C. M., Johnson, K. L. (2013). Appearance-Based Politics:
Sex-Typed Facial Cues Communicate Political Party Affiliation. „J. Exp.
Soc. Psychol.
”, s. 49, 156–160.

13 Stillman, T. F., Maner, J. K., Baumeister, R. F. (2010). A Thin Slice
of Violence: Distinguishing Violent from Nonviolent Sex Offenders at
a Glance. „Evol. Hum. Behav.”, s. 31, 298–303.

14 Todorov, A., Olivola, C. Y., Dotsch, R., Mende-Siedlecki, P. (2015).
Social Attributions from Faces: Determinants, Consequences, Accuracy,
and Functional Significance. „Annu. Rev. Psychol.”, s. 66, 519–545.

15 Tskhay, K. O., Rule, N. O. (2013). Accuracy in Categorizing Perceptually
Ambiguous Groups. „Personal. Soc. Psychol. Rev.”, s. 17, 72–86.

16 Lecun, Y., Bengio, Y., Hinton, G. (2015). Deep Learning. „Nature”,
s. 521, 436–444.

17 Esteva, A. i in. (2017). Dermatologist-Level Classification of Skin Cancer
with Deep Neural Networks. „Nature”, s. 542, 115–118.

18 Lu, C., Tang, X. (2014). Surpassing Human-Level Face Verification
Performance on LFW with Gaussian Face. 29. Konferencja AAAI nt.
sztucznej inteligencji, materiały konferencyjne, 3811–3819.

19 Leuner, J. A. (2019). Replication Study: Machine Learning Models Are
Capable of Predicting Sexual Orientation From Facial Images. CoRR
abs/1902.1.

20 Kachur, A., Osin, E., Davydov, D., Shutilov, K., Novokshonov, A. (2020).
Assessing the Big Five Personality Traits Using Real-Life Static Facial
Images. „Sci. Rep.”, s. 10, 8487.

21 Segalin, C. i in. (2017). What your Facebook Profile Picture Reveals
about your Personality. Konferencja ACM nt. multimediów – MM
2017, materiały konferencyjne, 460–468. https://doi.org/10.1145/
3123266.3123331.

22 Penton-Voak, I. S., Pound, N., Little, A. C., Perrett, D. I. (2006). Personality
Judgments from Natural and Composite Facial Images: More
Evidence for a ‘Kernel of Truth’ in Social Perception. „Soc. Cogn.”, s. 24,
607–640.

23 Tuschman, A. (2019). Our Political Nature: The Evolutionary Origins
of what Divides Us. Prometheus, New York.

24 Cao, Q., Shen, L., Xie, W., Parkhi, O. M., Zisserman, A. (2018). VGGFace2:
A Dataset for Recognising Faces across Pose and Age. 13. Międzynarodowa
konferencja IEEE nt. automatycznego rozpoznawania
twarzy i gestów, materiały konferencyjne (FG 2018) 67–74, https://
doi.org/10.1109/FG.2018.00020.

25 Sawilowsky, S. S. (2009). New Effect Size Rules of Thumb. „J. Mod.
Appl. Stat. Methods”, s. 8, 597–599.

26 Centrum Badań Pew. (2018). Wide Gender Gap, Growing Educational
Divide in Voters’ Party Identification.

27 Sibley, C. G., Osborne, D., Duckitt, J. (2012). Personality and Political
Orientation: Meta-Analysis and Test of a Threat-Constraint Model.
„J. Res. Pers.”, s. 46, 664–677.

28 Goldberg, L. R. i in. (2006). The International Personality Item Pool
and the Future of Public-Domain Personality Measures. „J. Res. Pers.”,
s. 40, 84–96.

29 Kosinski, M., Stillwell, D. J., Graepel, T. (2013). Private Traits and
Attributes Are Predictable from Digital Records of Human Behavior.
Materiały Narodowej Akademii Nauk, s. 110, 5802–5805.

30 Youyou, W., Kosinski, M., Stillwell, D. J. Computer-Based Personality
Judgements Are More Accurate than those Made by Humans. Materiały
Narodowej Akademii Nauk, 2015, s. 112, 1036–1040.

31 Park, G. J. i in. (2014). Automatic Personality Assessment Through Social
Media Language. „J. Personal. Soc. Psychol.”, s. 108, 934–952.

32 Quercia, D., Kosinski, M., Stillwell, D., Crowcroft, J. (2011). Our
Twitter Profiles, Our Selves: Predicting Personality with Twitter. 3.
Międzynarodowa konferencja IEEE nt. prywatności, bezpieczeństwa,
czynników ryzyka i zaufania i 3. Międzynarodowa konferencja
IEEE nt. znaczenia społecznego rozwiązań komputerowych,
materiały konferencyjne, 180–185, https://doi.org/10.1109/PASSAT /
SocialCom.2011.26.

33 Bi, B., Shokouhi, M., Kosinski, M., Graepel, T. (2013). Inferring the
Demographics of Search Users. 22. Międzynarodowa konferencja nt.
Internetu – WWW’13, materiały konferencyjne, 131–140, https://doi.
org/10.1145/2488388.2488401.

34 Kosinski, M., Bachrach, Y., Kohli, P., Stillwell, D. J., Graepel, T. (2014).
Manifestations of User Personality in Website Choice and Behaviour on
Online Social Networks. „Mach. Learn.”, s. 95, 357–380.

35 Matz, S. C., Kosinski, M., Nave, G., Stillwell, D. J. (2017). Psychological
Targeting as an Effective Approach to Digital Mass Persuasion. Materiały
Narodowej Akademii Nauk, s. 114, 12714–12719.

36 Huber, G. A., Malhotra, N. (2017). Political Homophily in Social Relationships:
Evidence from Online Dating Behavior. „J. Polit.”, s. 79, 269–283.

37 Face++. AI Open Platform. (2020). www.faceplusplus.com.

38 Tibshirani, R. (2011). Regression Shrinkage and Selection via the Lasso:
A Retrospective. „R. Stat. Soc. B Stat. Methodol.”, s. 73, 273–282.