Profese
Útočný tester AI (AI red teamer)
Také se říká: red teamer AI modelů, adversarial tester (tester útoky), AI penetrační tester
Nově vzniklá profese — zrodila se z vývoje posledních let: nástup umělé inteligence.
Co v této práci budete opravdu dělat
Útočný tester AI je specialista, který se placeně pokouší „rozbít“ umělou inteligenci — hledá způsoby, jak z ní vylákat škodlivé, nebezpečné nebo zakázané výstupy dřív, než to zkusí skutečný útočník. Celý den vymýšlíte záludné vstupy: jailbreaky (obejití ochranných pravidel modelu), manipulativní scénáře, pokusy o únik citlivých dat. Každý úspěšný průlom pečlivě zdokumentujete a předáte vývojářům, kteří díru zalepí. Najímají AI laboratoře jako Microsoft (má vlastní AI Red Team) nebo specializované firmy typu Trajectory Labs a inzerátů přibývá na běžných pracovních portálech typu ZipRecruiter. Náročné je, že pracujete s nepříjemným obsahem a musíte přemýšlet jako padouch, aniž byste se jím stali; láká naopak detektivní povaha práce a pocit, že chráníte miliony uživatelů. Nejkratší cesta vede z penetračního testování, bezpečnostního výzkumu nebo QA testování (testování kvality softwaru); čeká se znalost fungování jazykových modelů, trocha Pythonu a doložitelná praxe, klidně i z veřejných soutěží v hledání zranitelností.
Kde profese vznikla a proč: zrodila se v amerických AI laboratořích s nástupem velkých jazykových modelů, které bylo potřeba testovat útokem dřív, než je dostane veřejnost.
Počítejte s tím, že dvě firmy pod stejným názvem pozice schovávají dvě úplně různé práce — obor je příliš mladý na jednotný standard. A protože regulace i útočníci přitvrzují, poptávka po lidech, kteří umí modely lámat legálně, poroste.