Nadzór, który trzyma AI użytecznym

Za dużo nadzoru tworzy tarcie. Za mało tworzy ryzyko.

Właściwy projekt daje ludziom jasność co do własności, eskalacji i dopuszczalnego użycia — bez tworzenia komitetu przeglądowego, który zamienia dwutygodniowego pilota w sześciomiesięczny cykl zatwierdzania.

Słaby nadzór to nie brak dokumentów. To dokumenty, których nikt nie czyta, i procesy, których nikt nie prowadzi. Symptom: polityka AI mieszka na stronie Notion, nikt nie umie wskazać jej właściciela, a gdy zdarza się incydent, pierwsze pięć minut idzie na ustalanie, do kogo dzwonić.

Drugi symptom: każda decyzja o systemie AI ląduje na biurku CEO. To nie jest silny nadzór; to brak nadzoru z doświadczoną osobą absorbującą ryzyko osobiście.

Dla zakreślonego pilota wymagamy czterech artefaktów. Jeden — nazwany właściciel, który może zatrzymać system (nie komitet, osoba). Dwa — ścieżka eskalacji, która ma jeden telefon długości, nie hierarchię. Trzy — oświadczenie dopuszczalnego użycia, które mieści się na jednej stronie i jest podpisane przez operatorów. Cztery — log incydentów, nawet jeśli log jest pusty.

Cokolwiek więcej niż to dla pilota jest overheadem. Cokolwiek mniej i pilot nie przeżyje swojego pierwszego zdarzenia w realnym świecie.

Jeśli pilot konwertuje się do programu produkcyjnego, nadzór rośnie z nim, ale kształt zostaje ten sam. Nazwany właściciel staje się małą grupą nadzorczą. Ścieżka eskalacji staje się runbookiem. Oświadczenie dopuszczalnego użycia staje się polityką. Log incydentów staje się kadencją przeglądu.

Co nie musi się zdarzyć: utworzenie komitetu. Komitety to miejsce, gdzie nadzór umiera. Najlepszy nadzór nad AI, jaki widziałem, mieszka w trzech dokumentach, jednej kadencji spotkań i nazwanym właścicielu, nie w dwudziestu.