GPT-2

GPT-2

Tipus	model de llenguatge extens i transformadors generatius pre-entrenats
Versió inicial	14 febrer 2019
Versió estable	1558M (5 novembre 2019)
Llicència	llicència MIT
Equip
Desenvolupador(s)	OpenAI
Fonts de codi  Codi font Codi font
Més informació
Lloc web	openai.com… (anglès)
← GPT-1 GPT-3 →

GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar.^[1]

GPT-2 està dissenyat per generar text natural, completament coherent i gairebé indistingible d'aquell realitzat per humans, però així i tot s'han detectat una sèrie d'errors que el sistema presenta.

Si l'extensió d'un text és curta, previsiblement no s'hi podrà trobar cap error, però quan aquesta passa d'una pàgina, el sistema pot començar a fallar i a mostrar més errors com més llarg sigui el text.^[2] El sistema pot començar a presentar repeticions excessives del text, canvis de tema antinaturals i errors factuals, així com descriure un incendi dins del mar, per exemple.^[3]

Per una altra banda, el sistema està més familiaritzat amb els temes més habituals o usuals a la xarxa així com el Brexit o la Miley Cyrus, per la qual cosa és més probable que generi textos versemblants sobre aquests temes que no pas sobre termes més tècnics com la mecànica quàntica, per exemple.

Quant a la resposta de preguntes, The Register, una web sobre notícies tecnològiques, després d'analitzar minuciosament el sistema, va reconèixer que hi ha altres sistemes amb altres tipus d'algorismes que desenvolupen millor aquesta tasca.^[4]

Aquest sistema pot ser utilitzar, d'entre altres coses, per crear fake news. N'és un exemple una notícia sobre el descobriment d'unicorns. El sistema de GPT-2 va completar la notícia (que havia estat generada manualment) amb informació fictícia, creant així una notícia que podia passar per real:

"Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow.

Pérez and the others then ventured further into the valley. “By the time we reached the top of one peak, the water looked blue, with some crystals on top,” said Pérez.

Pérez and his friends were astonished to see the unicorn herd. These creatures could be seen from the air without having to move too much to see them – they were so close they could touch their horns."

Fragment de la notícia del trobament d'unicorns generada per GPT-2^[5]

Una demostració de com és de poderosa aquesta eina és The book of Veles. Jonas Bendiksen, un fotògraf noruec, va publicar un llibre amb textos i frases falses generades amb aquest sistema. El va alimentar amb articles en anglès sobre la indústria de les notícies falses de Veles. D'aquesta manera, GPT-2 va realitzar un gran assaig de 5.000 paraules i múltiples cites de manera completament autònoma, tot i que estan basades en frases de persones reals. D'aquesta mateixa forma, Bendiksen va introduir al sistema tot el Llibre de Veles, un llibre religiós dels pobles eslaus per obtenir moltes frases "antigues" per incloure-hi al llibre.^[6]

• https://www.openai.com/blog/gpt-2-1-5b-release/ Arxivat 2021-10-10 a Wayback Machine. Pàgina web oficial