Společnost DeepMind testuje hranice velkých jazykových systémů umělé inteligence

Generování jazyků je v současné době nejžhavějším tématem v oblasti umělé inteligence, přičemž třída systémů známých jako „velké jazykové modely“ (neboli LLM) se používá ke všemu možnému, od vylepšování vyhledávače Google až po vytváření textových fantasy her, uvádí server The Verge.

Tyto programy však mají i vážné problémy, včetně toho, že se v nich objevuje sexistický a rasistický jazyk a že selhávají v testech logického uvažování. To je jedno z témat, kterým se zabývá laboratoř umělé inteligence DeepMind společnosti Alphabet v trojici dnes zveřejněných výzkumných prací. Společnost dospěla k závěru, že další rozšiřování těchto systémů by mělo přinést mnohá zlepšení.

Společnost DeepMind, která pravidelně dodává svou práci do produktů společnosti Google, prověřila možnosti tím, že vytvořila jazykový model s 280 miliardami parametrů s názvem Gopher. Parametry jsou rychlým měřítkem velikosti a složitosti jazykových modelů.

Ve světě umělé inteligence obecně platí, že větší znamená lepší, přičemž větší modely obvykle nabízejí vyšší výkon. Výzkum společnosti DeepMind tento trend potvrzuje a naznačuje, že zvětšování jazykových modelů skutečně nabízí vyšší výkon. Výzkumníci však také upozornili, že k odstranění některých problémů, které jsou vlastní jazykovým modelům, bude potřeba více než jen data a výpočetní výkon.

Aby dospěli k těmto závěrům, vyhodnotili výzkumníci společnosti DeepMind řadu různě velkých jazykových modelů na 152 jazykových úlohách. Zjistili, že větší modely obecně dosahují lepších výsledků.

Zdroj: theverge.com