شما باید محتوای سمی را در وب سایت خود نظارت کنید. A.I. می تواند کمک کند
شما باید محتوای سمی را در وب سایت خود نظارت کنید. A.I.
می تواند کمک کند
محتوای سمی در سراسر اینترنت فراگیر است، و کسبوکارهایی که محتوای تولید شده توسط کاربر را پیادهسازی میکنند، در معرض خطر قرار دارند. میزبان کلاهبرداری، تعصب، و اطلاعات نادرست. استفاده از این محتوای سمی می تواند به تصویر برند شما آسیب برساند و اگر به سرعت و در مقیاس از آن مراقبت نشود، می تواند به احساسات مصرف کننده آسیب برساند.
استخدام ناظران برای بررسی هر جریان زنده، پادکست، پست و گیف، با این حال، می تواند شرکت شما را از کار بیاندازد. صرفاً محتوای زیادی برای انسان وجود دارد که نمیتواند همه آن را پاک کند. مشکل دیگر این است که غربال کردن از طریق بدترین اینترنت می تواند اثرات نامطلوبی بر سلامت کارکنان شما داشته باشد. در سال ۲۰۲۱، یک قاضی به گروهی متشکل از بیش از ۱۰۰۰۰ ناظر سابق فیس بوک مبلغ ۸۵ میلیون دلار پس از ایجاد PTSD در محل کار توسط ناظران اعطا کرد.
وارد بازار راه حل های تعدیل محتوا شوید، که با استفاده از A.I. یا جفت شدن آن با انسان، به تغییر جریان در جنگ علیه محتوای سمی در اینترنت کمک می کند.
کوین گوئو. بنیانگذار و مدیر عامل شرکت تعدیل محتوای مبتنی بر هوش مصنوعی Hive، اولین بار زمانی که او و هم بنیانگذارش دیمیتری کارپمن در دانشگاه استنفورد دانشجو بودند، یک تجارت بالقوه را در تعدیل محتوای خودکار دید. Guo و Karpman Kiwi را ایجاد کرده بودند، یک برنامه چت ویدیویی که به طور تصادفی کاربران را با افراد غریبه از سراسر جهان جفت میکند.
به سرعت، Guo. متوجه شد که با چیزی که او ابداع کرده بود “مشکل هات داگ” که بعداً مضحک شد، سر و کار داشت. در کمدی HBO سیلیکون ولی. به زبان ساده: مردان از این برنامه استفاده میکردند تا خود را در معرض دوربین در معرض دید عموم قرار دهند.
بعد از اینکه گوئو تشخیص داد که راه حلی برای مشکلش وجود ندارد، تصمیم گرفت یک مدل یادگیری ماشینی بسازد که بتواند خودش “هات داگ” را شناسایی کرده و علامت گذاری کند. “من خودم آن مجموعه از تصاویر را برچسب زدم و واقعاً فقط یک کار می توانست انجام دهد، و آن اینکه آیا چیزی “هات داگ” است یا نه.”
Guo شروع به فروش مدل “هات داگ” خود در کناری کرد، اما به سرعت متوجه شد که برنامه های کاربردی بیشتری برای یک مدل یادگیری وجود دارد که می تواند اشیاء را در تصاویر و ویدئوها شناسایی و برچسب گذاری کند تا فقط تشخیص برهنگی، بنابراین در در سال ۲۰۱۷ او و کارپمن برنامههای خود را تعطیل کردند تا کاملاً بر روی تجارت سازمانی تمرکز کنند.
اکنون، Hive خدمات کنترل خودکار محتوا از همه نوع ارائه میکند. با مدلهایی که میتوانند علاوه بر تصاویر، محتوای سمی را در متن و صوت تشخیص دهند. این مدلها توسط شرکتهایی از جمله Reddit، Giphy، و Vevo برای شناسایی و خاموش کردن خشونت، سخنان مشوق نفرت، هرزنامه، قلدری، خودآزاری و سایر رفتارهایی که ترجیح میدهید در وبسایت یا برنامه خود مشاهده نکنید، استفاده میکنند.
یکی از اولین موفقیتهای Guo در تعدیل محتوا زمانی حاصل شد که خدمات چت ویدیویی زنده Omegle و Chatroulette برای کمک به تمیز کردن به Hive مراجعه کردند. محتوای آنها را افزایش دهند. هر دو شرکت در اوایل دهه ۲۰۱۰ به دلیل ناتوانی در مقابله با مشکلاتی مشابه وضعیت “هات داگ” بدنام شدند، بنابراین وقتی شنیدند که Guo این کد را شکسته است، شگفت زده شدند.
“اکنون،” گوئو می گوید، “این پلتفرم ها ۱۰۰ درصد تمیز هستند. ما از هر چت تصویری نمونه برداری می کنیم، و می توانیم در لحظه ای که چیزی ظاهر می شود، آن را پرچم گذاری کنیم.” بر اساس مطالعه موردی، Hive بیش از ۱٫۵ میلیون جریان چتر در ماه را می بندد.
گوئو میگوید که مدلهای او طوری طراحی شدهاند که بدون کمک یا کمک انسانی مورد استفاده قرار گیرند، که جنبهای جذاب برای کسبوکارهای بزرگ است. نیاز به راه حل های بسیار مقیاس پذیر
در اکتبر ۲۰۲۱، مایکروسافت اعلام کرد که acquired Two Hat، یک ارائه دهنده تعدیل محتوا با تمرکز بر صنعت بازی های آنلاین. مانند Hive، بیشتر سرویسهای تعدیل محتوای Two Hat بدون تعامل انسانی کار میکنند. در یک پست وبلاگ با اعلام خرید، شرکت خدمات محصول ایکس باکس نایب رئیس، دیو مک کارتی گفت که فناوری Two Hat به ایمنتر کردن جوامع جهانی در Xbox، Minecraft و MSN برای کاربران از طریق یک رویکرد بسیار قابل تنظیم که به کاربر اجازه میدهد تصمیم بگیرد با چه چیزی راحت است و چه چیزی راحت نیست، کمک کرده است.
اما، سایر متخصصان تعدیل محتوا احساس میکنند که راهحل واقعی در ترکیب آنچه A.I است نهفته است. با تصمیم گیری انسانی خوب عمل می کند. Twitch، سرویس پخش زنده جهانی برای بازی، موسیقی و سرگرمی، در حال ایجاد برنامههای داخلی است که از یادگیری ماشینی با مشارکت انسانها برای پرچمگذاری محتوای مشکوک و مضر استفاده میکند. در حالی که برخی از محتواها مانند برهنگی و خشونت در سراسر پلتفرم ممنوع است، Twitch همچنین به پخشکنندگان اجازه میدهد تا نظارت محتوا را بهطور خاص برای کانال خود سفارشی کنند.
نمونه اصلی این سفارشیسازی، به گفته مدیر محصولات سلامت جامعه توییچ، آلیسون هافمن، به شکل ابزاری به نام «تشخیص کاربر مشکوک» به تازگی منتشر شده است. این ابزار از یادگیری ماشینی برای شناسایی کاربرانی استفاده میکند که حساب جدیدی ایجاد کردهاند تا از کانال خاصی جلوگیری کنند. این ابزار، فرار کنندگان احتمالی ممنوعیت را علامت گذاری می کند و سپس به سازندگان اجازه می دهد تصمیم خود را در مورد چگونگی ادامه دهند.
“ما در حال تلاش برای ترکیب هستیم. هافمن میگوید بهترین یادگیری ماشین، که مقیاسپذیر و کارآمد است، اما در تشخیص تفاوتهای ظریف ناقص است، با بازبینی انسانی، که کارایی کمتری دارد اما ظریفتر و شخصیتر است.
“به این ترتیب، ما از یادگیری ماشینی برای دادن اطلاعاتی به سازندگان استفاده میکنیم که به آنها کمک میکند تصمیمات ایمنی بهتر و سریعتری اتخاذ کنند – در حالی که هنوز تصمیم نهایی را در دستان خود میسپاریم.”
چیزهای بهتری برای نگرانی