Odrzucony przez algorytm. Kto odpowiada za cyfrowy wyrok?

Austriaczka chciała podpisać umowę z operatorem telefonii komórkowej, rachunek miał wynosić 10 euro miesięcznie. Nie dostała ani telefonu ani umowy. Powód? Jej wiarygodność kredytowa okazała się niewystarczająca. Tyle że oceny nie wystawił pracownik przy biurku, lecz automatyczny system firmy Dun & Bradstreet Austria. 10 euro doprowadziło sprawę aż do Trybunału Sprawiedliwości Unii Europejskiej. W lutym 2025 roku TSUE uznał, że człowiek poddany automatycznej ocenie ma prawo otrzymać wyjaśnienie pozwalające zrozumieć, jak zapadła decyzja, i ją zakwestionować. Nie wystarczy zasłonić się skomplikowanym wzorem ani tajemnicą algorytmu.

To ważny sygnał. Zanim zbyt łatwo obsadzimy siebie w roli ofiar bezdusznej sztucznej inteligencji lub kapitalizmu, pamiętajmy, że coś się zmienia. Powstają regulacje, procedury odwoławcze i rozwiązania techniczne, które mają ograniczać arbitralność systemów. Unijny AI Act wymaga nadzoru człowieka nad częścią systemów wysokiego ryzyka, a akt o usługach cyfrowych (DSA) daje możliwość odwoływania się od decyzji platform. Bezpieczników ciągle jest za mało. Wszechwładza algorytmów nie jest prawem natury. To jedna z możliwych dróg rozwoju.

Stara plotka, nowy algorytm

Niedawno rozmawiałem z koleżanką z branży IT, entuzjastką technologii, o bankowym scoringu i systemach społecznej oceny, stosowanych choćby w Chinach. Nie podzielała mojego niepokoju. Jej argument był prosty: przecież ludzie zawsze tak robili. W małej społeczności wiadomo było, kto oszukuje, kto oddaje długi, kto pożycza narzędzia i nigdy ich nie zwraca. Sąsiedzi ostrzegali sąsiadów, kupcy innych kupców. Dziś reputacja została po prostu przeniesiona do baz danych. Oczywiście moja koleżanka ma sporo racji. Bank nie wymyślił pytania, czy klient jest uczciwy i wypłacalny. Pracodawcy od wieków pytali poprzednich pracodawców o kandydata. Kupiec oceniał kontrahenta, gospodarz najemcę. Nowość pojawia się gdzie indziej. Dawniej zwykle wiedzieliśmy, kto nas ocenia. Można było poprosić o wyjaśnienie, przedstawić swoją wersję, czasem przekonać człowieka, że stara opinia jest nieaktualna.

Cyfrowa reputacja może działać na skalę milionów osób, w ułamku sekundy i według kryteriów, których oceniany nie zna. Błędne informacje mogą krążyć między systemami, a statystyczna korelacja zostać potraktowana jak cecha konkretnej osoby. Skala, szybkość i anonimowość takiej oceny zmieniają więc znacznie więcej niż tylko sposób przekazywania opinii.

Holenderska agencja DUO przez lata używała algorytmu do typowania studentów podejrzanych o nadużycia przy pobieraniu świadczeń. System brał pod uwagę trzy proste czynniki: wiek, poziom edukacji i odległość od domu rodziców. Krajowy urząd ochrony danych uznał takie przetwarzanie za dyskryminacyjne. Nie potrzeba więc wszechwiedzącej AI rodem z filmu science fiction. Wystarczą trzy rubryki w tabeli.

Józef K. dostałby dziś e-mail

Franz Kafka w Procesie opisał świat, w którym Józef K. zostaje oskarżony, ale nie umie określić, jaka instancja naprawdę ma go osądzić i według jakich reguł. Absurd polega nie tylko na niesprawiedliwości. Jest nim również niemożność dotarcia do człowieka podejmującego decyzję. Dzisiejszy Józef K. mógłby dostać automatyczną wiadomość: wniosek odrzucono, konto zablokowano, kandydatura nie przeszła do kolejnego etapu, transakcja oznaczona jako podejrzana – prosimy nie odpowiadać na tę wiadomość.

Terry Gilliam pokazał podobny koszmar w filmie Brazil. Przypadkowy błąd w dokumentach wystarcza, by biurokratyczna machina ruszyła przeciw niewłaściwemu człowiekowi. W 1985 roku, gdy obraz wszedł na ekrany kin, problemem była pomyłka w papierach. Dziś wystarczy błędna dana w bazie – a system może ją przetworzyć tysiące razy, zanim ktokolwiek zada pytanie.

W Stanach Zjednoczonych iTutorGroup zaprogramowała system rekrutacyjny tak, by automatycznie odrzucał kobiety od 55. roku życia i mężczyzn od 60. roku życia. Według federalnej komisji EEOC odpadło przez to ponad 200 aplikujących. Sprawa zakończyła się ugodą opiewającą na 365 tys. dolarów. Warto zauważyć coś niewygodnego dla opowieści o zbuntowanej maszynie. Amerykański program nie wymknął się człowiekowi spod kontroli. Bez szemrania wykonywał zapisane przez ludzi polecenia – także te, które prowadziły do dyskryminacji.

Człowiek podpisuje, maszyna decyduje

Najłatwiejszą odpowiedzią wydaje się zasada: ostateczną decyzję zawsze podejmuje człowiek. Tyle że i ona może być złudzeniem.

Badacze decyzji od lat opisują automation bias – skłonność do nadmiernego polegania na rekomendacji systemu. W jednym z eksperymentów 26 brytyjskich lekarzy rodzinnych rozwiązywało hipotetyczne problemy dotyczące przepisywania leków. Komputerowa podpowiedź poprawiała średnią trafność ich decyzji. Jednocześnie w 5,2 proc. wszystkich przypadków lekarze zmienili prawidłową odpowiedź na niewłaściwą właśnie po otrzymaniu błędnej sugestii systemu. To ważny szczegół. Technologia może pomagać i jednocześnie tworzyć nowy rodzaj pomyłki. Lekarz, urzędnik czy sędzia nie musi wierzyć, że komputer jest nieomylny. Wystarczy zmęczenie, presja czasu, dziesiątki podobnych spraw i myśl: algorytm zapewne już to policzył.

Badanie opublikowane w 2026 roku w „Journal of Legal Analysis”, obejmujące 7651 osób, przynosi kolejne ostrzeżenie. Wystarczyło, że algorytmiczną rekomendację formalnie zatwierdzał człowiek, aby procedura wydawała się badanym znacznie bardziej sprawiedliwa. Intensywność jego kontroli miała niewielki wpływ na tę ocenę. Autorzy mówią o ryzyku human-washing: obecność człowieka może legitymizować decyzję maszyny, nawet jeśli jego nadzór jest powierzchowny. Sędzia może więc mieć ostatnie słowo tylko na papierze. Jeżeli w praktyce jedynie zatwierdza rekomendacje systemu, formalna kontrola człowieka niewiele zmienia.

Umywanie rąk

Tu pojawia się syndrom Piłata: „to system wyliczył”, „model wskazał wysokie ryzyko”, „oprogramowanie nie pozwala”, „centrala ustawiła takie kryteria”. Technologia daje niezwykle wygodny język strony biernej. Wniosek zostaje odrzucony, kandydat skreślony z listy, świadczenie wstrzymane. Jakby nie było osoby, która wybrała cel, dane, próg ryzyka i procedurę odwoławczą.

Cyfrowe umywanie rąk może jednak działać także w drugą stronę. Madeleine Clare Elish, antropolog technologii, zaproponowała pojęcie „moralnej strefy zgniotu”. W samochodzie strefa zgniotu przejmuje energię uderzenia. W zautomatyzowanej instytucji może nią zostać człowiek znajdujący się najbliżej maszyny – operator albo urzędnik, na którego spada odpowiedzialność, choć miał niewielki wpływ na konstrukcję systemu. Winny nie zawsze siedzi więc przy ekranie. Programista wykonał specyfikację. Dostawca sprzedał model. Zarząd wybrał jego zastosowanie. Kierownik ustalił wydajność na sto spraw dziennie. Pracownik kliknął „zatwierdź”. Kiedy pojawia się krzywda, każdy może wskazać kogoś obok.

Właśnie dlatego watykańska nota Antiqua et nova z 2025 roku jest bardziej wymagająca, niż sugerowałoby hasło „człowiek zawsze odpowiada”. Przypomina, że tylko osoba jest podmiotem odpowiedzialności moralnej, ale odpowiedzialność za AI trzeba dostrzegać na kolejnych etapach – od projektowania i produkcji, przez zarządzanie i nadzór, po użycie. Ostatecznej odpowiedzialności za decyzję nie można przekazać maszynie.

Nie wynika z tego zakaz korzystania z algorytmów. Byłby absurdalny. Dobrze zaprojektowany system może zauważyć zależność, którą przeoczy człowiek, ograniczyć przypadkowość decyzji i szybciej wyłapać oszustwo. Granica przebiega gdzie indziej. Człowiek, który podejmuje decyzję przy pomocy maszyny, powinien móc zrozumieć jej przesłanki, sprzeciwić się rekomendacji i naprawić błąd. Osoba niezgadzająca się z decyzją powinna natomiast wiedzieć, do kogo może się zwrócić. Może właśnie to jest dziś najprostszy test sprawiedliwej technologii. Kiedy algorytm mówi nam „nie”, za tym „nie” powinny być drzwi. Po drugiej stronie zaś człowiek, który nie umyje rąk i nie odpowie: proszę niczego mi nie tłumaczyć, komputer już zdecydował.