Un blogger cinese ha messo a confronto Ernie Bot – il chatbot AI di Baidu – e ChatGPT di OpenAI, nella versione con GPT-4, concentrandosi su aspetti quali la comprensione semantica, le capacità di programmazione e il dialogo.
Comprensione semantica: ChatGPT ha dimostrato una comprensione più accurata di domande complesse rispetto a Ernie Bot. Mentre entrambi i modelli hanno cercato di rispondere a domande relative all’etica e alle relazioni causa-effetto, ChatGPT ha fornito risposte più accurate e contestualmente appropriate.
Scrivere codice: il confronto ha anche testato le capacità di programmazione software dei modelli AI chiedendo loro di creare un gioco in JavaScript. Il codice di Ernie Bot è risultato inadeguato, mentre ChatGPT non solo ha identificato i problemi nel codice di Ernie Bot, ma ha anche fornito le correzioni necessarie. Questo dimostra il valore pratico e le potenziali applicazioni di ChatGPT nel campo dello sviluppo software.
Dialogo continuo: quando si trattava di mantenere un dialogo continuo, Ernie Bot sembrava avere difficoltà a ricordare i messaggi precedenti e a mantenere il contesto. Al contrario, ChatGPT ha mostrato un’impressionante capacità di impegnarsi in conversazioni continue, tenendo il contesto e rispondendo coerentemente all’argomento in questione.
Giochi di ruolo e simulazione della personalità: un’altra area di confronto è stata la capacità dei modelli di AI nel giocare di ruolo e simulare diverse personalità. ChatGPT ha dimostrato un notevole talento nell’adattarsi a diversi ruoli e nell’impegnarsi in conversazioni specifiche per il personaggio. Ernie Bot, invece, ha faticato a mantenere i ruoli assunti e ha esibito una minore profondità emotiva nelle sue risposte, determinando un’esperienza meno coinvolgente.
I risultati mostrano che ChatGPT supera Ernie Bot in tutte le aree testate. Qui il video completo (in cinese).
