Заменит ли схема Винограда тест Тьюринга?

В этом году компьютерная программа по имени Евгений Густман прошла тест Тьюринга на определение искусственного интеллекта в рамках конкурса, организованного Британским университетом. Почти сразу же стало очевидно, что создатели ПО достигли успехов не столько в создании искусственного интеллекта, сколько в способности обманывать людей. Программа отвечала так, как мог бы ответить человек, используя определенный опыт и стандартные формулировки. Но отвечать «как человек» не значит мыслить «как человек». Обладала ли эта программа хотя бы каким-нибудь уровнем интеллекта? Большой вопрос.

Очевидно, необходим другой тест, более совершенный. И, возможно, он уже есть. Это, так называемая, схема Винограда, которая очень проста для человека, но является серьезным вызовом для компьютера.

Проблема теста Тьюринга состоит в том, что это не совсем тест на наличие искусственного интеллекта, а скорее проверка на то, может ли программа обмануть человека. А люди, действительно, хотят быть обманутыми. Мы падки на различные виды фокусов и трюков, которые хорошо запрограммированный робот может использовать, чтобы убедить нас, что мы говориv с реальным человеком, который может мыслить.

Например, бот Евгений Густман притворяется 13-летним мальчиком, так как 13-летние подростки часто имеют неустойчивую психику и, на самом деле, могут давать невнятные ответы. У подростков в этом возрасте часто меняются взгляды и предпочтения, они не знают чего хотят, и это объясняет их иррациональное поведение. Так вот, бот Евгений Густман не был умным вообще, он (вернее его алгоритм) просто знал как ответить на вопросы, которые вы задаете.

Концептуально, тест Тьюринга еще имеет силу, но нам нужен новый, улучшенный практический процесс для тестирования искусственного интеллекта. Устраители нового конкурса на определение искусственного интеллекта Nuance Communications и CommonsenseReasoning.org предлагают 25 тыс. долларов создателю ПО, которое сможет успешно ответить на вопросы так называемой схемы Винограда, названной в честь Терри Винограда, профессора компьютерных наук в Стэнфордском университете.

Вот один пример:

Трофей не помещается в коричневый чемодан, потому что он слишком большой (маленький). Что является слишком большим (маленьким)?

Если большой, очевидно, трофей. Если маленький — чемодан. Но это не очевидно. Это очевидно для нас, потому что мы все знаем о трофеях и чемоданах. Мы даже не думаем об этом, это почти интуитивно, на уровне подсознания. Но для компьютерной программы не ясно, что к чему относится, и кто такой «он». Чтобы правильно ответить на данный вопрос, искусственный интеллект должен иметь некоторую справочную информацию и способность к рассуждению.

Вот другой пример:

Джим утешал Кевина, потому что он был расстроен (небезразличен). Кто был расстроен (небезразличен)?

Ниже приведены правила схемы Винограда:

Две стороны, упоминаемые в предложении, выражены именами существительными. Они могут быть женского, мужского или среднего рода, а также обозначать группу людей или объектов.
Местоимение или притяжательное прилагательное используется в отношении одной из сторон, но также грамматически подходит и для другой стороны. Для мужского рода — он, его, ему, для женского рода — она, ее, ей, для среднего рода — оно, его, ему, для множественного числа — они, их, им.
Вопрос заключается в определении референта местоимения или притяжательного прилагательного. Ответ 0 — это всегда первая сторона, упоминаемая в предложении, и ответ 1 — это вторая сторона.
Существует слово (так называемое специальное слово), которое появляется в предложении и, возможно, вопрос. Когда он заменяется другим словом (альтернативным), предложение сохраняет смысл, но ответ изменяется.

Стоит отметить, что мы немного скептически относимся к различного вида тестам для определения искусственного интеллекта. Представьте себе, высокоструктурированный тест с конкретными вопросами и ответами, которые могут весьма однозначно интерпретироваться. Это большой потенциал для умной (но не думающей) программы, которая может набраться опыта, научиться на определенных шаблонах, но никогда не сможет рассуждать самостоятельно.

Тогда возникает вопрос о том, должен ли стать интеллект просто технологической системой, достаточно сложной, чтобы правильно отвечать на вопросы, которые более сложная биологическая система (мы) установила в качестве нормативов для определения наличия мышления.

Источник: IEEE Spectrum

[add_ratings]