Umělá inteligence si zřejmě vytvořila svůj vlastní tajný jazyk
Nová generace modelů umělé inteligence (AI), jako jsou Imagen, MidJourney a DALL-E 2, dokáže na základě textových podnětů vytvářet „kreativní“ obrázky na vyžádání. Vědci v USA přišli se zajímavým tvrzením, že model DALL-E 2 možná vynalezl vlastní tajný jazyk pro definování objektů, jak píše server Science Alert.
Poté, co výzkumníci vyzvali umělou inteligenci DALL-E 2 k vytvoření obrázků s textovými popisky a následně vložili výsledné popisky (hlouposti) zpět do systému, dospěli k závěru, že DALL-E 2 si myslí, že Vicootes znamená „zelenina“, zatímco Wa ch zod rea se vztahuje k mořským tvorům, které by mohla sežrat velryba.
Má umělá inteligence DALL-E 2 tajný jazyk?
Pravděpodobně ne, není to „tajný jazyk“, spíše by se dalo říci, že má svůj vlastní slovník, ale ani to nemůžeme vědět s jistotou. V této fázi je velmi obtížné ověřit jakákoli tvrzení o DALL-E 2 a dalších velkých modelech umělé inteligence, protože k nim má přístup jen hrstka výzkumníků. Všechny zveřejněné snímky je třeba brát s velkou rezervou, protože jsou „vybírány“ lidmi z mnoha výstupních snímků generovaných umělou inteligencí. Co se děje? Jednou z možností je, že „hloupé“ fráze souvisejí se slovy z jiných jazyků než angličtiny.
Například slovo Apoploe, které zřejmě souvisí s obrazy ptáků, je podobné latinskému Apodidae, což je název čeledi ptačích druhů. To by mohlo být pravděpodobné vysvětlení. Například program DALL-E 2 byl vycvičen na velmi široké škále dat získaných z internetu, která obsahovala mnoho neanglických slov. K podobným věcem docházelo již dříve: velké modely umělé inteligence zaměřené na přirozený jazyk se zřejmě náhodně naučily psát počítačový kód bez záměrného tréninku. Tuto teorii podporuje skutečnost, že jazykové modely umělé inteligence nečtou text stejně jako my lidé.
Vstupní text před zpracováním rozdělí na tokeny. Přitom různé přístupy k tokenizaci mají různé výsledky. Zdá se, že je to intuitivní přístup, ale problémy mohou nastat, pokud mají stejné tokeny (slova) více různých významů. Na druhou stranu, pokud se s každým slovem zachází jako s tokenem, vzniká menší počet možných tokenů, ale každý z nich poskytuje mnohem méně významných informací. DALL-E 2 používá přístup nazývaný kódování párů bajtů (BPE). Kontrola reprezentací BPE pro některá nesmyslná slova naznačuje, že by to mohl být důležitý faktor pro pochopení tajného jazyka.
Tajný jazyk je důsledkem toho, že DALL-E 2 nemůže říct „nevím, o čem mluvíš“
A proto vždy vygeneruje nějaký obrázek z daného vstupního textu. Nic z toho však plně nevysvětluje, co se děje. Zdá se například, že odstranění jednotlivých znaků z nesmyslných slov poškozuje generované obrázky velmi specifickým způsobem. A také se zdá, že jednotlivá nesmyslná slova se nemusí nutně spojovat do souvislých složených obrazů.
Možná si říkáte, jestli je to všechno opravdu důležité. Odpověď zní ano. Tajný jazyk umělé inteligence DALL-E je příkladem útoku proti systému strojového učení, což je způsob, jak narušit zamýšlené chování systému záměrným výběrem vstupů, které umělá inteligence nezvládá dobře. Jedním z důvodů, proč jsou útoky protistrany znepokojivé, je to, že zpochybňují naši důvěru v model. Pokud umělá inteligence interpretuje nesmyslná slova nezamýšleným způsobem, může také interpretovat smysluplná slova.
Vyvolává to také obavy o bezpečnost. Umělá inteligence DALL-E 2 filtruje vstupní text, aby uživatelé nevytvářeli škodlivý nebo urážlivý obsah, ale „tajný jazyk“ nesmyslných slov může uživatelům umožnit tyto filtry obejít. Nedávný výzkum odhalil neintuitivní „spouštěcí fráze“ pro některé jazykové modely umělé inteligence.
A konečně, fenomény jako tajný jazyk umělé inteligence DALL-E 2 vyvolávají obavy ohledně interpretovatelnosti. Chceme, aby se tyto modely chovaly tak, jak lidé očekávají, ale pokud vidíme strukturovaný výstup v reakci na nesmysly, jsme zmateni. Dokud nebudou tyto systémy dostupnější (zejména dokud je nebudou moci používat uživatelé z širšího spektra neanglického kulturního prostředí), nebudeme schopni skutečně zjistit, co se děje.
Zdroj: sciencealert.com