در حالی که ChatGPT از تکنولوژی پیشرفته و مجموعه اطلاعات وسیعی برخوردار است، باید به این نکته توجه کرد که به‌هیچ‌وجه نمی‌توان آن را جانشینی برای روان‌درمانگر در نظر گرفت. این فناوری ممکن است اطلاعات نادرستی ارائه کند یا حتی خطر افشای اطلاعات خصوصی کاربران را به‌وجود آورد.
ارسال عمیق‌ترین و پیچیده‌ترین افکار به فناوری‌های غیرقانونی می‌تواند مخاطرات جدی را به همراه داشته باشد.
به نقل از فست کمپانی، اخیراً یکی از کاربران «تیک‌تاک» در ویدیویی اعتراف کرد که از ChatGPT به‌عنوان ابزاری برای مدیریت مشکلات ذهنی‌اش استفاده کرده و سؤالی را مطرح کرد: آیا کسی دیگری از ChatGPT به‌عنوان روان‌درمانگری بدون مجوز بهره می‌گیرد؟
باوجود اینکه دوستان این کاربر از افشاگری‌اش متعجب شدند، او تنها نیست. شمار زیادی از افراد به ChatGPT مراجعه کرده‌اند تا در بهبود روابط دوستی و عاشقانه یا دستیابی به زندگی بهتر، یاری جویند.
کاربر دیگری در تیک‌تاک نوشت: محل وقوع: من در حال ورود به جلسه درمانی هفتگی خود هستم. من تمام جزئیات زندگی‌ام را در ChatGPT وارد می‌کنم و از بیان هیچ نکته‌ای پرهیز نمی‌کنم.
کاربر دیگری از ChatGPT درخواست کرده که توصیه‌هایی از سخنرانان انگیزشی محبوبش ارائه دهد.
درمانگران هوش مصنوعی موضوعی جدید به شمار نمی‌رود. به عنوان مثال، «Woebot» در سال ۲۰۱۷ به عنوان یک ابزار حمایتی در حوزه سلامت روان با هدف بهره‌گیری از پردازش زبان طبیعی و پاسخ‌های یادگیری شده برای تقلب در مکالمات، معرفی شد.
«کارل مارسی» (Carl Marci) مدیر ارشد بالینی و نویسنده کتاب «تنظیم مجدد: محافظت از مغز در عصر دیجیتال» بیان کرد: ظهور درمانگران هوش مصنوعی به منظور حمایت از سلامت روان تنها یک روند فناورانه نیست، بلکه زنگ هشداری برای حرفه ما به شمار می‌آید. ما با عدم تطابق عرضه و تقاضا در زمینه مراقبت‌های سلامت روان مواجه هستیم که هوش مصنوعی می‌تواند به عنوان راهکاری برای این مشکل ظاهر شود.
در آمریکا از هر سه نفر، یک نفر در مناطقی زندگی می‌کند که با کمبود نیروی کار در حوزه سلامت روان مواجه است. در عین حال، ۹۰ درصد مردم بر این باورند که امروز در آمریکا با بحران سلامت روان روبرو هستیم. با توجه به هزینه‌های بالای درمان و دسترسی دشوار به آن، تمایل به استفاده از ChatGPT به عنوان یک گزینه جذاب افزایش می‌یابد، زیرا این چت‌بات می‌تواند پاسخ‌هایی سریع و رایگان ارائه کند.
علاوه بر این، این حقیقت که ChatGPT انسانی نیست، برای برخی افراد جذاب است و این امکان را فراهم می‌آورد که بتوانند عمیق‌ترین و تاریک‌ترین افکار خود را بدون ترس از قضاوت مطرح کنند. باوجود این، انتقال این نوع افکار به فناوری‌ها که با نگرانی‌های مربوط به حریم خصوصی و نظارت همراه است، خالی از خطر نخواهد بود. به همین دلیل است که درمانگران انسانی ملزم به رعایت اصول محرمانه‌نگه‌داشتن اطلاعات و مسئولیت‌پذیری نسبت به داده‌ها هستند.
ChatGPT به‌منظور نقش‌آفرینی به‌عنوان درمانگر طراحی نشده است. حتی خود ChatGPT به کاربران هشدار می‌دهد که ممکن است گاهی اوقات اطلاعات نادرست ارائه دهد یا محتوای مضر و مشکوک تولید کند.
مارسی خاطرنشان کرد: رویکرد مدل‌های زبانی بزرگ، هنوز مورد آزمایش قرار نگرفته است. این مدل‌ها ممکن است توهم‌هایی را ایجاد کنند که می‌تواند برای افراد آسیب‌پذیر خطرناک باشد و درصورت ارائه توصیه‌های نادرست، به پیشنهادات خطرآفرینی درباره خودکشی منجر شود.