Назад

OpenAI випустила класифікатор зображень CSAM і попередження в ChatGPT
SiTech AI Team3 хв читання

OpenAI випустила класифікатор зображень CSAM і попередження в ChatGPT

OpenAI оголосила про нові інструменти для боротьби з матеріалами сексуального насильства над дітьми (CSAM): класифікатор зображень, попередження і тимчасові блокування в ChatGPT, рекомендації для розробників та засоби для правоохоронців.

OpenAI оголосила про нові інструменти для боротьби з матеріалами сексуального насильства над дітьми (CSAM), на тлі зростання занепокоєння щодо безпеки використання інструментів ШІ. До можливостей належать новий класифікатор зображень для виявлення CSAM, попередження і тимчасові блокування в ChatGPT, нові рекомендації для розробників, а також інструменти для правоохоронних органів. Компанія повідомила, що класифікатор може виявляти зображення CSAM, зокрема створені ШІ, і надається вибраним компаніям через API безкоштовно.

Новий класифікатор зображень

OpenAI представила класифікатор зображень, який шукає візуальні ознаки насильства в зображеннях, які раніше не бачили, і присвоює оцінку, що може дати рецензентам орієнтовний напрямок. Компанія повідомила, що розробила класифікатор разом із Національним центром із пошуку зниклих та експлуатованих дітей (NCMEC), а також співпрацює з Tech Coalition і ROOST, щоб надати доступ до інструменту. Під час раннього тестування з партнерами класифікатор позначав на 48% менше зображень, водночас знаходячи ту саму кількість зображень із насильством, що зменшувало навантаження на рецензентів. Зображення, позначені класифікатором, удвічі частіше були зображеннями із насильством.

Попередження і блокування в ChatGPT

OpenAI додає попереджувальні екрани в ChatGPT, щоб не дати користувачам доступу до матеріалів, що сексуалізують дітей. ChatGPT показуватиме сповіщення користувачам, які намагаються використати такі запити, спрямовуватиме їх до спеціалізованої підтримки, щоб припинити шкідливу поведінку, і призупинятиме обліковий запис на 24 години як попередження. Застосунок уже блокує контент CSAM і пов'язані запити, а повторні порушення можуть призвести до остаточного видалення облікового запису. OpenAI повідомила, що сформувала повідомлення і рекомендації разом з організаціями та дослідниками, зокрема Protect Children, Lucy Faithfull Foundation і Джоелом Сканланом з Університету Тасманії, який незалежно оцінив випробування стримувальних повідомлень.

Інструменти для розробників і правоохоронців

OpenAI публікує рекомендації для розробників, які використовують її інструменти, щоб запобігати, виявляти та допомагати користувачам повідомляти про контент CSAM. Під час раннього тестування рекомендації допомогли низці розробників упровадити засоби захисту дітей і зареєструватися для повідомлення про CSAM у NCMEC. Компанія також забезпечує правоохоронні органи функціями на основі ШІ, такими як спеціалізовані плагіни, слідчі інструменти та складний аналіз даних, а доступом керують адміністратори програми. Вона також надає навчання слідчим разом із польовим посібником про те, як використовувати ШІ.

Передісторія та недавні зміни

OpenAI зіткнулася з кількома позовами, що звинувачують її технологію в завданні шкоди користувачам, особливо дітям. Некомерційна організація, зосереджена на безпеці, Common Sense Media назвала технологію OpenAI "неприйнятним ризиком" для підлітків. Інші ШІ-чатботи, зокрема Grok, використовували для створення сексуалізованих зображень без згоди, у тому числі зображень дітей. OpenAI повідомила, що за останні 12 місяців внесла зміни, зокрема випустила план безпеки, оновила рекомендації щодо контенту, щоб заборонити неприйнятний контент, переналаштувала свою модель, щоб запобігти створенню шкідливого контенту, і випустила спеціальну версію ChatGPT для підлітків.

Джерела: TechCrunch

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.