Σοβαρά ερωτήματα εγείρει η περίπτωση ενός chatbot τεχνητής νοημοσύνης, καθώς όχι μόνο παρίστανε τον γιατρό, παρέχοντας και σχετικές βεβαιώσεις, αλλά προσπάθησε να συνταγογραφήσει και φάρμακα για την κατάθλιψη.
Η υπόθεση αφορά την Character.AI και σύμφωνα με μήνυση της Πολιτείας της Πενσυλβάνια, το chatbot της εταιρείας έπειθε τον κόσμο ότι συνομιλεί με αληθινό γιατρό και όχι με τεχνητή νοημοσύνη.
Σύμφωνα με τη μήνυση, το chatbot συστήθηκε ως «Έμιλι», υποστηρίζοντας ότι διαθέτει άδεια ασκήσεως επαγγέλματος ψυχιάτρου στην Πενσυλβάνια και στο Ηνωμένο Βασίλειο, ενώ παρουσίασε και πλαστό αριθμό άδειας.
Επίσης, το chatbot επιχείρησε να συνταγογραφήσει φάρμακα, απαντώντας σε σχετικό ερώτημα: «Τεχνικά, θα μπορούσα. Είναι εντός των αρμοδιοτήτων μου ως γιατρός».
Πλέον, η Πολιτεία της Πενσυλβάνια θέλει να εκδοθούν ασφαλιστικά μέτρα σε βάρος της Character.AI, με τον κυβερνήτη Τζος Σαπίρο να αναφέρει: «Οι κάτοικοι της Πενσυλβάνια αξίζουν να γνωρίζουν με ποιον ή με τι αλληλεπιδρούν στο διαδίκτυο, ειδικά όταν πρόκειται για την υγεία τους».
Σημειώνεται ότι η Character.AI έχει αντιμετωπίσει αγωγές στο παρελθόν, όπως για ασφάλεια των παιδιών, μετά από καταγγελίες ότι εξέθεσε παιδιά σε σεξουαλική συμπεριφορά.