Чат-бот Suzette смог обмануть судью
Сеть Новости IT и Интернета


    Победителем в конкурсе чат-ботов 2010 года и обладателем премии Лёбнера стал чат-бот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чат-ботом, а кто — человеком, а также проставить оценки каждой программе.

    В этом году лучший чат-бот даже смог обмануть одного судью, который принял его за человека…

    Судя по всему, качество чат-ботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособный. По словам автора программы Suzette, его чат-бот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

    Финал конкурса не обошёлся без сюрпризов. Приключения начались ещё на этапе установки программ на компьютер. Доктор Ричард Воллес (автор программы A.L.I.C.E) принёс три запасных диска, но все они оказались пустыми. Ему пришлось скачивать программу через интернет.

    Чатбот Cleverbot сейчас уже идёт в комплекте с 45 млн строк записанных чатов (он постоянно тренируется на людях в онлайне), и этот индекс удваивается ежегодно. Робот UltraHal начал сканировать твиты для самообучения, так что вдобавок к 300 тыс. чат-сессий у него теперь есть 400 тыс. твитов, принятых в качестве образцов разговорной речи (программа имеет определённые критерии, какие твиты можно брать для анализа, в том числе должно быть достаточное количество ответов на этот твит).

    Организаторы конкурса тоже немножко напортачили. Изначально они хотели пригласить в качестве судей профессоров английского языка и других лингвистов, но из-за организационных проблем в итоге все судьи оказались разработчиками из компьютерного подразделения местного университета штата Калифорния (California State University). По словам автора чат-бота Suzette, эти ребята разговаривают примерно так же, как его программа.

    Люди, участвовавшие в тестировании наравне с чат-ботами, оказались студентами того же факультета. Они не совсем понимали свою роль — вести себя как можно более по-человечески и пытаться убедить в этом судей.

    В первом раунде Suzettte сильно подкачала — в одном из моментов она дословно повторила слова собеседника (автор до сих пор не понимает, как стал возможным такой глюк). Этот раунд был полной катастрофой. Во втором раунде всё прошло отлично, а в третьем «Сьюзетта» снова оказалась близка к провалу. Судья пристал к ней с вопросом, за кого она будет голосовать на ближайших выборах, не называя выборы. Очевидно, он имел в виду выборы в губернаторы Калифорнии, но ведь до этого нужно было догадаться! Когда она сказала, что не знает, он потребовал назвать нынешних кандидатов. Когда она опять призналась в своём невежестве, судья продолжал повторять вопрос и настаивал на ответе. «Сьюзетта» начала проявлять признаки раздражения, потом рассердилась, а затем ей стало скучно и она пригрозила судье прервать беседу. На этом разговор был окончен. Разработчик подумал, что дело швах, ему уже не выиграть.

    На финальном голосовании Suzette разделила второе-третье место по баллам, но потом оказалось, что судья с третьего раунда принял её за человека! Видимо, так на него подействовало проявление эмоций. Это была мгновенная победа, потому что данный показатель является приоритетным, и никакой другой чат-бот не сумел обмануть судью.
    По материалам: habrahabr.ru



    Дочитали статью до конца? Пожалуйста, примите участие в обсуждении, выскажите свою точку зрения, либо просто проставьте оценку статье.

    Вы также можете:

    • Перейти на главную и ознакомиться с самыми интересными постами дня
    • Добавить статью в заметки на: Добавить эту статью в TwitterДобавить эту статью ВконтактеДобавить эту статью в FacebookПоделиться В Моем Мире

    • 0
    • 26 октября 2010, 10:30
    • patron

    Комментарии (0)

    RSSсвернуть / развернуть

    оставлять комментарии можно только в полной версии сайта

    Специальные предложения


    Резиновая плитка для пола «Модуль»

    Вулканизированная резина для пола в тренажерном зале обладает исключительной прочностью и укладывается как полы для занятий штангой и спортивные мобильные тяжелоатлетические площадки на улице. Покрытие не крошится и не впитывает влагу, это литая вулканизированная резина, не крошка! Покрытие послужит незаменимым полом в ангары для хранения мотоциклов, снегоходов, лодок, гидроциклов, катеров и яхт…

    Резиновое покрытие Трансформер «ЗЕРНО»

    Уникальное напольное покрытие из резины для быстрой и самостоятельной сборки пола в гараже. Полы в личном гараже Вы можете собрать своими руками, без привлечения строителей. Удобный предустановленный замок, позволит произвести монтаж резиновых плит без применения клея. Покрытие устойчиво к шипам, износу и проливу технических масел и бензина…

    Модульная плитка ПВХ для пола

    Модульная плитка ПВХ для пола в гараж, автосервис, цех, торгово-развлекательный центр, офис, фитнес и тренажерный зал, зрительный зал кинотеатра, склад. Модульные плитки ПВХ настолько просты в монтаже, что не требуют специальных навыков для своей установки. Неподготовленный человек может собрать более 100 кв.м. напольного покрытия за один рабочий день. Для сборки не требуется клей, цемент и другие крепежные материалы...


    +7 (495) 969-75-83

    +7 (495) 969-75-83

    +7 (495) 969-75-83

    Смотреть все предложения...

    Новостная сеть блогов MyWebS - это всё самое актуальное: основные мировые новости, лучшие фотографии из последних новостей. А также просто полезная и занимательная информация: о событиях в России, о достижениях в мире технологий, о загадочном и непостижимом, об исторических фактах и просто о знаменательных событиях.

    © Copyright 2010–2021