در خط مقدم تاریک‌ترین گوشه‌های اینترنت؛ «از سربریدن تا سوءاستفاده از کودکان»

بی‌بی‌سی در چند ماه گذشته مشغول بررسی دنیایی تاریک و پنهان بوده است؛ دنیایی که به بدترین، وحشتناک‌ترین، آزاردهنده‌ترین و در بسیاری موارد غیرقانونی‌ترین محتوای اینترنتی ختم می‌شود.

سربریدن، قتل‌عام، سوءاستفاده جنسی از کودکان، و اظهارات نفرت‌انگیز، این نوع محتوا به ایمیل مادریتورها، یا همان ناظران محتوای مجازی، سرازیر می‌شوند.

ما معمولاً هیچ‌چیز درباره آن‌ها نمی‌دانیم، اما وظیفه مادریتورها این است که بر محتوای فضای مجازی نظارت کنند و در صورتی که گزارشی از کاربران دریافت کنند یا ابزارهای تکنیکی هشدار دهند، آن محتوا را حذف کنند.

اهمیت ایمنی در فضای آنلاین روزبه‌روز بیشتر می‌شود و شرکت‌های فناوری بیش از پیش تحت فشار قرار دارند تا محتوای آزاردهنده را به‌سرعت پاک کنند.

با وجود تحقیقات گسترده و سرمایه‌گذاری‌های سنگین برای یافتن راه‌حل‌های تکنولوژیک، هنوز هم این نیروی انسانی است که حرف آخر را در زمینه نظارت و کنترل محتوا در فضای اینترنت می‌زند.

مادریتورها معمولاً توسط شرکت‌های ثالث استخدام می‌شوند و به‌طور مستقیم با محتوای منتشرشده در شبکه‌های اجتماعی معروف از جمله اینستاگرام، تیک‌تاک و فیسبوک سروکار دارند.

آن‌ها در سراسر جهان فعالیت می‌کنند. افرادی که من برای تهیه این مجموعه برنامه‌ها با آن‌ها مصاحبه کردم، عمدتاً در شرق آفریقا زندگی می‌کردند و همه‌شان از آن زمان این شغل را ترک کرده‌اند.

داستان‌هایی که آن‌ها تعریف می‌کردند، وحشتناک بود. برخی آن‌قدر دلخراش بودند که حتی نمی‌توانستیم آن‌ها را از رادیو پخش کنیم. گاهی با تهیه‌کننده‌ام، بعد از ضبط یک گفتگو، مدتی در سکوت و بهت باقی می‌ماندیم.

موجز، که پیش‌تر در نایروبی به‌عنوان مادریتور بر محتوای تیک‌تاک کار می‌کرد، می‌گوید: «اگر گوشی‌تان را بردارید و به تیک‌تاک سر بزنید، حجم زیادی از ویدیوهای رقص و شادی را می‌بینید. اما در پشت‌صحنه آن، کسی مثل من نشسته که صدها ویدیوی وحشتناک و دردناک را کنترل می‌کند.»

او می‌افزاید: «من این مسئولیت را پذیرفتم. اجازه دادم سلامت روانم آسیب ببیند تا کاربران بتوانند فعالیت‌شان را در این پلتفرم ادامه دهند.»

تا امروز، چندین شکایت قانونی درباره آسیب روانی‌ که این شغل به مادریتورها وارد کرده، مطرح شده است. برخی از مادریتورهای سابق در شرق آفریقا گرد هم آمده‌اند و اتحادیه‌ای تشکیل داده‌اند.

مارتا دارک، مدیر کمپین فاکس‌گلاو که از این شکایت‌های قانونی حمایت می‌کند، می‌گوید: «واقعاً تنها چیزی که بین یک کاربر معمولی شبکه‌های اجتماعی و تماشای ویدئویی از سربریدن انسان فاصله ایجاد می‌کند، یک کارمند است که در گوشه‌ای از جهان پشت میزی نشسته، آن ویدیو را قبل از کاربران دیده و حذف کرده تا چشمان آن‌ها به چنین صحنه‌ای نیفتد.»

در سال ۲۰۲۰، متا که آن زمان با نام فیسبوک شناخته می‌شد، پذیرفت که مبلغ ۵۲ میلیون دلار به مادریتورهایی که دچار مشکلات روانی شده بودند، پرداخت کند.

این شکایت توسط سلنا اسکولا، مادریتور سابق در ایالات متحده، آغاز شد. او مادریتورها را «شاهدان روح مردم» می‌نامد، چرا که آن‌ها تصاویر لحظات پایانی زندگی افراد را بارها دیده‌اند.

تمام مادریتورهایی که با آن‌ها صحبت کردم، از این شغل کنار رفته بودند. همه آن‌ها از اثرات این کار با عنوان «تروما» یاد می‌کردند. برخی دچار اختلال خواب شده بودند، برخی دیگر با مشکلات تغذیه دست‌وپنجه نرم می‌کردند.

یکی از آن‌ها تعریف کرد که چطور شنیدن صدای گریه نوزاد، همکارش را دچار وحشت کرده بود. دیگری گفت تماشای محتوای سوءاستفاده جنسی از کودکان باعث شده بود در برقراری ارتباط با همسر و فرزندانش دچار مشکل شود.

پس از شنیدن این روایت‌ها، انتظار داشتم آن‌ها بگویند این کار از نظر احساسی و روانی آن‌قدر طاقت‌فرسا بوده که هیچ انسانی نباید آن را انجام دهد. تصور می‌کردم آن‌ها از خودکارسازی کامل فرآیند و استفاده از فناوری‌هایی مانند هوش مصنوعی برای انجام این کار حمایت کنند.

اما آن‌ها چنین نظری نداشتند.

آنچه به‌وضوح در این افراد دیده می‌شد، غروری بود که بابت انجام وظیفه‌ای به آن دشواری در آن‌ها شکل گرفته بود؛ وظیفه‌ای که جهان را تا حدی از آسیب‌های فضای مجازی محافظت کرده است.

آن‌ها خود را مانند نیروهای اورژانس ضروری می‌دانند. یکی از آن‌ها می‌گفت دلش می‌خواهد یونیفرم مخصوص این شغل را داشته باشد. او خود را امدادگر می‌دانست و کارش را با آتش‌نشانان یا امدادگران اورژانس مقایسه می‌کرد.

یکی از آن‌ها که خواست ناشناس بماند — ما او را دیوید می‌نامیم — گفت: «حتی یک ثانیه هم تلف نشده است.» او روی محتوایی کار می‌کرد که برای آموزش چت‌بات پرمصرف چت‌جی‌پی‌تی استفاده می‌شد تا این برنامه یاد بگیرد محتوای آزاردهنده را بازنشر ندهد.

او گفت: «به تمام کسانی که در این فرآیند شرکت کردند افتخار می‌کنم. آن‌ها چت‌جی‌پی‌تی را به همین شکل امروزیش رساندند.»

اما ابزاری که دیوید در آموزش آن نقش داشت، روزی می‌تواند رقیب حرفه‌ای او شود.

دیو ویلنر، مدیر سابق بخش امنیت و اعتماد شرکت اوپن‌ای‌آی— سازنده چت‌جی‌پی‌تی — گفت تیمش ابزاری ابتدایی برای نظارت بر محتوا ساخته بود که می‌توانست با دقتی نزدیک به ۹۰٪ محتوای آزاردهنده را شناسایی کند.

او افزود: «وقتی بالاخره فهمیدم که این ابزار واقعاً کار می‌کند، شوکه شدم. هوش مصنوعی نه خسته می‌شود، نه بی‌حوصله، و نه چیزی آن را شوکه می‌کند. آن‌ها خستگی‌ناپذیرند.»

اما همه به هوش مصنوعی اعتماد ندارند و آن را راه‌حل کامل برای چالش‌های نظارت بر محتوا نمی‌دانند.

دکتر پل رایلی، استاد رسانه و دموکراسی در دانشگاه گلاسکو، می‌گوید: «فکر می‌کنم این موضوع مشکل‌ساز است. تا اینجا روشن است که هوش مصنوعی می‌تواند ابزاری نسبتاً خام برای تمایز بین انواع محتوا باشد.»

«اما مشکل اینجاست که استفاده بیش‌ازحد از هوش مصنوعی می‌تواند به سانسور بی‌مورد محتوا منجر شود و در نتیجه آزادی بیان را تضعیف کند. همچنین، هوش مصنوعی ممکن است نتواند ظرافت‌هایی را که انسان‌ها قادر به درک آن هستند، تشخیص دهد. در نهایت، حضور ناظران انسانی در پلتفرم‌های اجتماعی ضروری است.»

«مشکل این است که ما به‌اندازه کافی مادریتور نداریم، و این شغل می‌تواند برای افراد بسیار مضر باشد.»

ما در جریان تهیه این برنامه، با شرکت‌های فناوری نام‌ برده‌ شده تماس گرفتیم.

یکی از سخنگویان شرکت تیک‌تاک گفت که این شرکت می‌داند کار مادریتورها آسان نیست و تلاش می‌کند شرایط کاری مناسبی برای آن‌ها فراهم کند، از جمله ارائه خدمات درمانی و برنامه‌هایی برای حمایت از سلامت روان آن‌ها.

تیک‌تاک می‌گوید در مرحله نخست، ویدیوها با فناوری خودکار مرور می‌شوند که به گفته آن‌ها، قادر است بخش عمده‌ای از محتوای آزاردهنده را شناسایی و حذف کند.

شرکت اوپن‌ای‌آی نیز می‌گوید قدردان زحمات مادریتورهاست که نقش حیاتی در آموزش هوش مصنوعی برای شناسایی محتوای آسیب‌زننده ایفا می‌کنند. سخنگوی این شرکت افزود با همکاری شرکایش، چارچوب‌هایی برای تضمین سلامت این گروه از همکاران تدوین کرده است.

متا، مالک فیسبوک و اینستاگرام، می‌گوید شرکت‌های همکارش موظف هستند خدمات ۲۴ ساعته از سوی افراد متخصص به مادریتورها ارائه دهند. همچنین مادریتورها می‌توانند با استفاده از برخی ابزارها، محتوای آزاردهنده را به‌صورت محوشده مشاهده کنند.