Тест Тьюринга может быть визуализирован

Ученые разработали визуальный тест Тьюринга, в котором компьютеры будут отвечать на все более сложные вопросы, анализируя изображение.

Компьютеры с каждым годом все лучше и лучше справляются с задачами из области искусственного интеллекта, особенно это касается компьютерного зрения — идентификации лица или изображения, содержащее определенный объект.

На самом деле, прогресс был настолько значительным, что некоторые ученые теперь считают, что стандартные тесты, используемые для оценки программ искусственного интеллекта, слишком легко пройти, и нужно разработать более сложные.

Речь идет об «общедоступных наборах данных», обычно используемыми исследователями компьютерного зрения в качестве эталона для оценки результатов, такие как LabelMe из MIT или Labeled Faces in the Wild из Массачусетского Университета.

Ранее предлагались фотографии, которые были помечены с помощью краудсорсинга, так что на фото улицы были отмечены машина, дерево и пешеход. Программы компьютерного зрения успешно справлялись с этой задачей и находили объекты, используя методы машинного обучения такие как сверточные нейронные сети, называемые Deep Learning.

Ученые, занимающиеся данной проблемой, говорят, что называть предметы на фотографии стало слишком просто, и в этом нет особой необходимости, то, что компьютеру действительно нужно — это понять , что происходит на картинке.

Так, при поддержке Стюарта Джимена из DARPA, профессора прикладной математики из университета Брауна, был разработан метод для стандартного теста, который мог бы оценить точность программ компьютерного зрения нового поколения.

Исследование было опубликовано на этой неделе в Proceedings of the National Academy of Sciences, соавторами Джимена были ученые из Университета Джона Хопкинса, штат Мэриленд, а также его брат Дональд Джимен, наряду с Нилом Халлонкистом и Лоран Юнес.

Предложенный ими способ требует разработать некий перечень отдельных атрибутов, которые могут быть изображены на картинке, например, если мы говорим об улице, могут ли там находиться люди, могут ли они что-то нести или общаться друг с другом. Сначала фотографии обрабатываются людьми, а затем компьютерными программами, чтобы определить, нашла ли она те атрибуты, которые заметили люди.

Изначально, вопросы были элементарными, например, спрашивалось, есть ли изображение человека на картинке в определенном месте. Но вопросы будут все более сложными по мере того, как программы станут более умными. Например, вопрос может затрагивать характер взаимоотношений между разными людьми на фото.

 Пример изображения и вопросов, предложенных группой ученых, для визуального теста Тьюринга

В конце концов, разработчики теста могли бы оценить уровень здравого смысла и понимание процессов компьютерными программами, задав, например вопрос: «Что произойдет с человеком на переднем плане картинки, на которого вот-вот упадет рояль»?

Джимен говорит, что одним из преимуществ предлагаемого подхода является то, что иерархия информации, разработанная для картинки станет все более сложной. Она могла бы послужить основой для простых автоматических тестов.

Из-за ограничения наборов данных, исследователи компьютерного зрения создавали системы, которые могли определить, есть ли на фотографии кошка или нет. «Пришло время поднять планку», — говорит он.

Джимен признал, что в настоящее время ни одна из программ не смогла бы пройти предложенного испытания и ответить даже на рудиментарные вопросы. Но являются ли методы DeepLearning достаточно эффективными, чтобы в один прекрасный день компьютерные программы смогли научиться обрабатывать более сложные контексты? Судит пока рано.

На недавно прошедшей конференции в Остине, штат Техас, ученые пытались придумать замену для хорошо известного теста Тьюринга. Они планируют продолжить это обсуждение в июле в Буэнос Айресе на Международной конференции по искусственному интеллекту.

Гарри Маркус, ученый из Университета Нью-Йорка, говорит, что пока ни один тест на может определить уровень интеллекта, подход Джимена является «шагом в правильном направлении» в области, где нужны новые решения, которые приведут к более сложным системам.

Источник:IEEE Spectrum

[add_ratings]