Jak fungují velké jazykové modely a jak je sladit se zájmy člověka? To je hlavní téma nejnovějšího dílu podcastu DataBoutique, v němž zpovídáme odborníka na umělou inteligenci z Centra teoretických studií Univerzity Karlovy Jana Kulveita. V podcastu se mimo jiné dozvíte, proč dnes už nemůžeme jednoduše mluvit o programování pokynů pro AI a místo toho čím dál častěji hovoříme o tzv. „AI Alignment“ (sladění AI s lidmi). Kulveit také vysvětluje, proč sice víme, jak je systém naprogramován, ale nevíme, co všechno umí. Podcast je dostupný na všech podcastových platformách.
„Vlastně všechno zajímavé, co umí třeba GPT-3 nebo GPT-4, jsou emergentní vlastnosti modelu, které tyto systémy získaly poté, co prošel procesem učení,“ říká Jan Kulveit a dodává, že není dobré si představovat, že velké jazykové modely jsou jen lepší našeptávače textu.
„Když AI predikuje další token ve větě ‚jaké je hlavní město České republiky?‘, jedna možnost, jak ten token predikovat, je ta, že si bude pamatovat třeba slovo Praha, protože se tam často objevuje. Nebo když bude predikovat další token v řetězci, v němž jsou předchozí symboly například 15 + 3, tak si ‚vzpomene‘, že obvykle následovalo 18 a řekne 18. Nicméně se ukazuje, že pokud model vidí ty aritmetické příklady mnohokrát, naučí se nějaký obecnější způsob, jak tuto predikci vytvořit, a to prostě tak, že něco dokáže spočítat. Naučí se sčítat,“ vysvětluje náš host různé způsoby reprezentace znalostí a jak to souvisí s tím, že současné modely již vykazují fenomény, kterým nedokážeme snadno porozumět.
V podcastu se také dozvíte, proč může být užitečné říkat, že umělá inteligence myslí či něco chce, ale i kde má v tomto směru svoje limity. Nevyhneme se ani tomu, jaká nebezpečí a v jakých oblastech umělá inteligence přináší.
Autor textu: Josef Šlerka
Zdroj úvodní grafiky: MidJourney, prompt design Josef Šlerka
