هرچند که ChatGPT یک فناوری پیشرفته و مجهز به داده‌های وسیع در زمینه‌های مختلف می‌باشد، باید به این نکته توجه کرد که این ابزار نمی‌تواند جایگزین یک روان‌درمان‌گر شود و ممکن است گاهی اطلاعات نادرست یا غیرقابل اعتمادی را ارائه دهد و یا حریم خصوصی کاربران را به خطر بیندازد.
طبق گزارشی از ایسنا، انتقال عمیق‌ترین افکار و احساسات شخصی به فناوری‌هایی که احتمال آسیب‌رسانی دارند، ممکن است پیامدهای جدی به همراه داشته باشد.
یکی از کاربران «تیک‌تاک» به تازگی در یک ویدیو از تجربه‌اش با ChatGPT و درخواست کمک برای حل مسائل عاطفی خود صحبت کرده و پرسش کرده است: آیا کسی دیگری از ChatGPT به‌عنوان یک مشاور روانی بدون دستمزد استفاده می‌کند؟
در حالی که دوستان او از این افشاگری متعجب بودند، باید گفت که این تنها یک مورد از بسیاری دیگر است. جمع کثیری از افراد به ChatGPT روی آورده‌اند تا در روابط اجتماعی و عاشقانه خود یاری بگیرند یا به دنبال راه‌هایی برای بهبود کیفیت زندگی خود باشند.
کاربر دیگری در تیک‌تاک نوشت: در حال مراجعه به جلسه درمانی هفتگی‌ام هستم. همه جزئیات زندگی خود را در ChatGPT به ثبت می‌رسانم و از بیان هیچ موضوعی اجتناب نمی‌کنم.
کاربر دیگری از ChatGPT خواسته بود تا پیشنهادهایی از سخنرانان محبوب و الهام‌بخش او ارائه دهد.
استفاده از هوش مصنوعی در زمینه سلامت روان موضوعی جدیدی نیست. به عنوان مثال، «Woebot» از سال ۲۰۱۷ به‌عنوان یک دستیار روانشناسی با هدف استفاده از پردازش زبان طبیعی و ارائه پاسخ‌هایی بر پایه یادگیری برای شبیه‌سازی مکالمات طراحی شده است.
کارل مارسی (Carl Marci)، مدیر ارشد بالینی و نویسنده کتاب «تنظیم مجدد: حفاظت از مغز در عصر دیجیتال»، معتقد است که ظهور درمانگران هوش مصنوعی به‌منظور حمایت از سلامت روان تنها یک روند فناورانه نیست، بلکه هشدار جدی در مورد کار ماست. ما در حال مواجهه با عدم توازن در عرضه و تقاضای خدمات سلامت روان هستیم که موارد هوش مصنوعی می‌توانند در رفع این مشکلات نقش ایفا کنند.
در آمریکا، یک سوم جمعیت در مناطقی زندگی می‌کنند که با کمبود متخصصان سلامت روان مواجه هستند. هم‌زمان، ۹۰ درصد افراد به وجود بحران سلامت روان در این کشور معترف هستند. با توجه به هزینه‌های بالای درمان و در دسترس نبودن آن، جذابیت ChatGPT افزایش می‌یابد، زیرا این ربات گفتگو قادر به ارائه پاسخ‌های فوری و رایگان است.
علاوه بر این، این واقعیت که ChatGPT فاقد وجود انسانی است برای برخی افراد جذابیت دارد و به آن‌ها این امکان را می‌دهد تا بدون ترس از قضاوت، عمیق‌ترین و تاریک‌ترین اندیشه‌های خود را بیان کنند. با این حال، گنجاندن این افکار در فناوری‌ها با نگرانی‌هایی در مورد حفظ حریم خصوصی و نظارت همراه است و این امر به هیچ عنوان بدون خطر نیست. به همین دلیل است که درمانگران انسانی ملزم به رعایت اصول محرمانه نگه‌داشتن اطلاعات و مسؤولیت‌پذیری محدود هستند.
ChatGPT به‌هیچ‌وجه برای ایفای نقش درمانگری طراحی نشده است. حتی خود ChatGPT به کاربران هشدار می‌دهد که ممکن است گاهی اطلاعات نادرست، توصیه‌های مضر یا محتوای مغرضانه را به‌صورت تصادفی تولید کند.
مارسی اظهار داشت: رویکردهای مبتنی بر مدل‌های بزرگ زبانی هنوز در حال آزمایش هستند. این مدل‌ها ممکن است تصورات غلطی ایجاد کنند که می‌تواند برای افراد آسیب‌پذیر، خطرساز یا گیج‌کننده باشد و با درخواست نادرست، به توصیه‌هایی خطرناک درباره خودکشی منجر شود.