Negli ultimi mesi ChatGPT è letteralmente esploso, divenendo un vero e proprio fenomeno sociale e rendendo l’argomento dell’intelligenza artificiale e delle sue potenzialità uno dei più caldi in ambito tecnologico.

Nelle scorse settimane per OpenAI, l’azienda a cui si deve ChatGPT, è suonato un primo campanello d’allarme e ciò in quanto a giugno i numeri del suo servizio hanno fatto registrare una diminuzione ma potrebbero esserci anche altri problemi dietro l’angolo.

Almeno ciò è quanto emerge da un report diffuso da Santiago su Twitter, stando al quale le prestazioni del servizio di OpenAI sarebbero in deciso peggioramento.

ChatGPT invece di migliorare con il tempo va peggiorando

Molte persone hanno riferito nelle ultime settimane di aver notato un significativo peggioramento nella qualità delle risposte del modello GPT-4 e adesso vi sarebbero dei dati che confermano queste impressioni.

Uno studio, infatti, dimostra come la versione di giugno di GPT-4 sia oggettivamente peggiore rispetto a quella rilasciata a marzo su alcune attività.

Il team ha valutato i modelli utilizzando un set di dati di 500 problemi nei quali i modelli dovevano capire se un numero intero fosse primo (ciò attraverso il sistema Chain-of-Thought): a marzo GPT-4 ha risposto correttamente a 488 di queste domande mentre a giugno ha fornito solo 12 risposte corrette, passando così dal 97,6% di successo ad appena il 2,4%.

Ma ad essere peggiorata sarebbe anche la generazione di codice. Il team ha creato un set di dati con 50 semplici problemi da LeetCode e ha misurato quante risposte GPT-4 sono state eseguite senza modifiche: la versione di marzo è riuscita nel 52% dei problemi mentre quella di giugno ha avuto successo solo nel 10% dei casi.

Stando alle indiscrezioni, OpenAI starebbe usando diversi modelli GPT-4 più piccoli e specializzati che agiscono in modo simile a un modello di grandi dimensioni ma sono meno costosi da eseguire e, nel momento in cui un utente pone una domanda, il sistema decide a quale modello inviare la query.

Ebbene, potrebbe essere proprio questo nuovo approccio la causa del peggioramento della qualità.

Per ulteriori informazioni su tale studio seguite questo link.

Come rendere il servizio più personale

Sempre a proposito di ChatGPT, con la funzionalità delle istruzioni personalizzate è possibile rendere il servizio più adatto alle proprie esigenze.

Così come viene spiegato da Joanne Jang di OpenAI, gli utenti potrebbero sfruttare determinate informazioni, in modo che di esse ChatGPT tenga conto in tutte le conversazioni, fornendo risposte adeguate al contesto.

Per esempio, un insegnante potrebbe inserire “Insegno alla terza elementare” nelle sue istruzioni personalizzate in modo che, ogni volta che chiede fatti interessanti sulla Luna, il servizio possa adattare la risposta al giusto gruppo di età.

Questa funzionalità è ancora in fase di sviluppo e il team di OpenAI deve “allenare” il modello prima di metterlo eventualmente a disposizione di tutti gli utenti.