Profese
Výzkumník bezpečnosti AI (AI safety researcher)
Také se říká: alignment researcher (výzkumník souladu AI s lidskými záměry), výzkumník AI rizik
Nově vzniklá profese — zrodila se z vývoje posledních let: nástup umělé inteligence.
Co v této práci budete opravdu dělat
Výzkumník bezpečnosti AI zkoumá, jak zajistit, aby se výkonné AI systémy chovaly podle záměru člověka — a aby se nedaly zneužít ani nevymkly kontrole. Prakticky to znamená experimenty s modely, čtení a psaní vědeckých článků, vývoj metod interpretability (porozumění tomu, co se děje uvnitř modelu) a testování, kdy a proč model klame nebo obchází pravidla. Najímají především velké laboratoře — Anthropic, OpenAI, Google DeepMind — a rostoucí počet univerzitních i neziskových institutů. Práce je intelektuálně nesmlouvavá: publikujete, obhajujete, většina nápadů nevyjde. Láká smysl — málokde platí věta „pracuji na tom, aby technologie nezpůsobila škodu“ tak doslova. Přichází se z doktorátů v informatice, matematice či fyzice, ale i z pozice inženýra strojového učení; dveře otevírají výzkumné stáže a programy zaměřené na alignment, silné portfolio experimentů vydá za titul.
Kde profese vznikla a proč: vznikla v USA a Británii, když schopnosti modelů začaly růst rychleji než nástroje na jejich kontrolu.
Každá laboratoř si bezpečnostní výzkum vykládá po svém — jednotná definice řemesla zatím neexistuje. Poptávka poroste s tím, jak regulátoři začínají bezpečnostní testy vyžadovat, ne jen doporučovat.
Známé osobnosti, které tuto práci dělaly
Jan Leike vedl bezpečnostní výzkum v OpenAI a dnes pokračuje v Anthropicu.