Używanie emoji zmniejsza wykrywalność w sieci obraźliwych postów

Emoji to piktogramy służące wyrażaniu emocji (za pomocą buziek), ale też obrazują przedmioty, rośliny, zwierzęta, symbole czy miejsca. Są najczęściej używane w SMS-ach i wiadomościach wysyłanych przez komunikatory. Pojawiają się także w postach umieszczanych w mediach społecznościowych.

Z raportu przygotowanego przez badaczy brytyjskiego Oxford Internet Institute wynika, że mogą one utrudniać wykrywanie obraźliwych treści. Naukowcy odkryli, że większość algorytmów używanych do śledzenia postów szerzących nienawiść działa dobrze, gdy wpis zawiera tylko tekst. Gorzej, gdy w postach pojawiają się emoji. Wówczas trudno jest je wychwycić sztucznej inteligencji, przez co dalej funkcjonują w sieci. Badacze jako przykład podają komentarze, jakie pojawiły się w sieci po finale piłkarskich mistrzostw Europy 2020. Po przegranym meczu Anglicy mogli przeczytać pod swoim adresem mnóstwo rasistowskich uwag. Algorytmy ich nie wykryły, ponieważ prawie wszystkie zawierały emoji (pokazujące małpę).

Powstała nowa baza danych

Brytyjscy naukowcy podkreślają, że system nie jest w stanie wychwycić nadużyć w sieci, bo programowano go w większości na samych tekstach, bez uzupełniania go o emotikony. Kiedy algorytmy natrafią więc na obraźliwe posty z emoji, automatycznie sortują je jako akceptowalne.

Niedawna analiza ujawniła, że ​​konta na Instagramie, które publikowały rasistowskie treści z użyciem emotikonów, były trzy razy mniej narażone na blokadę niż konta, których posty miały identyczną treść, ale bez dodatkowych emotikonów.

W związku z tym badacze z Uniwersytetu Oksfordzkiego wzięli się za rozwiązanie tego problemu. Stworzyli nową bazę danych. Zawiera ona ok. 4 tys. zdań składających się z emotikonów. Następnie wykorzystali ją do przećwiczenia modelu opartego na sztucznej inteligencji. Ten przetestowano, wybierając komentarze szerzące nienawiść skierowaną m.in. do mniejszości religijnych czy społeczności LGBTQ.

Model Google o nazwie "Perspective API" stworzony wcześniej okazał się wydajny tylko w 14 proc. Ten nowy, model sztucznej inteligencji stworzony przez naukowców, był w stanie wychwycić obraźliwe posty nawet w 80 proc. przypadków.

Badacze po opublikowaniu raportu udostępnili stworzoną przez siebie bazę danych online innym programistom i firmom.