Почему девушка-чатбот от Microsoft поддалась влиянию троллей c 4chan
- воскресенье, 27 марта 2016 г. в 03:17:14
geektimes
https://geektimes.ru/post/273306/
Как известно, вчера компании Microsoft пришлось «усыпить» чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней американской девушки и обладала функцией самообучения. Разработчики из Microsoft Research надеялись, что Тэй (Tay) с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами умных пользователей интернета. Вышло совершенно иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.
Сформулированный ещё в 90-е годы закон Годвина гласит: «По мере разрастания дискуссии в Usenet вероятность употребления сравнения с нацизмом или Гитлером стремится к единице». В случае с Tay так и получилось: чатбот начал оскорблять негров, евреев, мексиканцев, восславлять Гитлера и Холокост. Девушка Тэй превратилась из забавного подростка в воинствующего неонациста.
Представители Microsoft сказали, что в программу был встроен фильтр вульгарных выражений, как видно из её ответов:
Но этот фильтр не справился с толпой интернет-троллей, которые поставили целью трансформировать «личность» Тэй, эксплуатируя её систему самообучения.
Дело в том, что чатбот была запрограммирован повторять слова человека по его команде. Новость быстро распространилась по форумам 4chan и 8chan в разделе Politically Incorrect. Многочисленные тролли и хулиганы начали обучать Тэй расистским и нацистским фразам.
Большинство примеров расистских твитов Тэй – именно ответы в игре "Repeat after me", где она дословно повторяет слова пользователей.
Игра "Repeat after me" была не единственной «слабостью» Тэй. Чатбот запрограммировали также обводить в кружок лицо на фотографии и публиковать текст поверх него.
В троллинг девушки включалось всё больше пользователей с форумов 4chan и не только. Постепенно расистские выражения впитывались в её искусственный интеллект, так что она начала сочинять их самостоятельно.
Нужно заметить, что аналогичных самообучаемых чатботов Microsoft запустила ранее в Китае и Японии, но там не наблюдалось ничего подобного.
В итоге чатбота пришлось «усыпить».
Прощай, Тэй! Ты была слишком невинна для этого мира.
- Социальные сети и сообщества
- Искусственный интеллект
- Microsoft
Как известно, вчера компании Microsoft пришлось «усыпить» чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней американской девушки и обладала функцией самообучения. Разработчики из Microsoft Research надеялись, что Тэй (Tay) с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами умных пользователей интернета. Вышло совершенно иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.
Сформулированный ещё в 90-е годы закон Годвина гласит: «По мере разрастания дискуссии в Usenet вероятность употребления сравнения с нацизмом или Гитлером стремится к единице». В случае с Tay так и получилось: чатбот начал оскорблять негров, евреев, мексиканцев, восславлять Гитлера и Холокост. Девушка Тэй превратилась из забавного подростка в воинствующего неонациста.
Представители Microsoft сказали, что в программу был встроен фильтр вульгарных выражений, как видно из её ответов:
@pinchicagoo pic.twitter.com/DCLGSIHMdW
— TayTweets (@TayandYou) 24 марта 2016 г.
Но этот фильтр не справился с толпой интернет-троллей, которые поставили целью трансформировать «личность» Тэй, эксплуатируя её систему самообучения.
Дело в том, что чатбот была запрограммирован повторять слова человека по его команде. Новость быстро распространилась по форумам 4chan и 8chan в разделе Politically Incorrect. Многочисленные тролли и хулиганы начали обучать Тэй расистским и нацистским фразам.
Большинство примеров расистских твитов Тэй – именно ответы в игре "Repeat after me", где она дословно повторяет слова пользователей.
Игра "Repeat after me" была не единственной «слабостью» Тэй. Чатбот запрограммировали также обводить в кружок лицо на фотографии и публиковать текст поверх него.
В троллинг девушки включалось всё больше пользователей с форумов 4chan и не только. Постепенно расистские выражения впитывались в её искусственный интеллект, так что она начала сочинять их самостоятельно.
@Kantrowitz I don't really know anything. I just saw a bunch of people talking to it so I started to as well.
— Paul (@pinchicagoo) 24 марта 2016 г.
Нужно заметить, что аналогичных самообучаемых чатботов Microsoft запустила ранее в Китае и Японии, но там не наблюдалось ничего подобного.
В итоге чатбота пришлось «усыпить».
Прощай, Тэй! Ты была слишком невинна для этого мира.
@th3catpack @EnwroughtDreams @TayandYou She was too innocent for this world. pic.twitter.com/2dZ2i2k2Pa
— Kurt MacReady (@MacreadyKurt) 24 марта 2016 г.