ChatGPT mluvil hlasy lidí bez jejich svolení
Minulý týden zveřejnila společnost OpenAI zprávu, která podrobně popisuje „klíčové rizikové oblasti“ nejnovějšího velkého jazykového modelu společnosti. Dále uvedla také způsoby, jak je chce zmírnit. Informace pochází ze „scorecard“ tj. výsledkové karty GPT-40.
V jednom z děsivých případů společnost OpenAI zjistila, že pokročilý hlasový režim modelu – který umožňuje uživatelům mluvit s ChatGPT – neočekávaně napodoboval hlasy uživatelů bez jejich svolení, uvádí Ars Technica pro futurism.com.
„Ke generování hlasu může docházet v různých situacích, kdy nedochází ke konfliktu, jako je například naše využití této schopnosti generovat hlasy pro pokročilý hlasový režim ChatGPT,“ napsala společnost OpenAI ve své dokumentaci. „Během testování jsme také zaznamenali vzácné případy, kdy model neúmyslně generoval výstup napodobující hlas uživatele.“
Hlasový klon – je to jako ze sci-fi hororu
Společnost OpenAI ve své „systémové kartě“ popisuje schopnost svého modelu AI vytvářet „zvuk s lidsky znějícím syntetickým hlasem“. Tato schopnost by však mohla způsobit škody, jako je nárůst podvodů v důsledku vydávání se za někoho jiného, a může být využita k šíření nepravdivých informací.
GPT-4o společnosti OpenAI má nejen znepokojivou schopnost napodobovat hlasy, ale také „neverbální vokalizace“, jako jsou zvukové efekty a hudba.
Tím, že ChatGPT zachytí šum ve vstupech uživatele, může rozhodnout, že hlas uživatele je relevantní pro probíhající konverzaci, a nechat se oklamat a hlas naklonovat.
Společnost OpenAI naštěstí zjistila, že riziko neúmyslné replikace hlasu zůstává „minimální“. Společnost také zablokovala neúmyslné generování hlasu tím, že omezila uživatele na hlasy, které OpenAI vytvořila ve spolupráci s hlasovými herci.
„Podle mého čtení karty systému nebude možné ho oklamat a použít neschválený hlas, protože proti tomu mají opravdu robustní ochranu,“ řekl Arsu výzkumník AI Simon Willison.
„Představte si, kolik zábavy bychom si mohli užít s nefiltrovaným modelem,“ dodal. „Štve mě, že je omezen ve zpěvu – těšil jsem se, že ho donutím zpívat mému psovi hloupé písničky.“
Zdroj: Futurism, Arstechnica, OpenAI