ChatGPT сдает экзамен на коренного жителя: сможет ли искусственный интеллект ответить на простые вопросы о Харькове

Все мы живем в эпоху технологий, где развивается не только сфера машиностроения, мобильной связи, бытовых электроприборов, но и активно начинают появляться нововведения из искусственного интеллекта и робототехники. Всем известен текстовый помощник и виртуальный собеседник Чат GPT, способный поддержать диалог, давать советы или отвечать на разные вопросы. Каждый из нас хотя бы раз использовал для развлечения или с целью получить определенный ответ, а возможно кто-то смог найти практическое применение в своей работе. Vgorode экспериментировал, сможет ли искусственный интеллект пройти «Тест на Харьковчанина», ответив на разные вопросы, разной сложности, прежде всего связанные с Харьковом. Итак, читайте в нашем материале, что из этого вышло и смог ли искусственный интеллект превзойти в знании родного города коренных жителей.

После приветствия с ботом мы предложили пройти ему небольшой тест на знание города Харькова, на что он с радостью согласился (у него не было выбора, ведь в модель заложены ответы, основанные на продолжении диалога). Хотя это и искусственный интеллект, не имеющий человеческих эмоций и чувств, все равно мы решили для разминки начать с простых вопросов, которые постепенно будут перерастать в более сложные, на которые может правильно ответить только человек. Все вопросы будут задаваться искусственной модели ChatGPT-3.5.

Исторические вопросы

Первый вопрос исторического характера, на который чат-бот дал ответ: в каком году был основан город Харьков? На первый взгляд для обычных людей, жителей других городов или для тех, кто мало или совсем не интересуется историей, может показаться, что все идеально. Ведь в считанные секунды пользователь получает дату основания и даже при каких условиях был основан город. Но давайте немного углубимся в историю и разберемся, где Чат GPT мог допустить хоть не значительную, однако ошибку, которая в научных работах или исторических материалах может показаться «грубой» и не соответствовать реальным фактам.

Во-первых, дата, которая является годом основания Харькова (1654 год) стала официальной примерно 17 лет назад, ведь в разных исторических документах фигурировали следующие даты: 1654, 1655,1656 гг. год.

Во-вторых, исходя из следующего найденного документа, датированного 1654 годом, в содержании которого рассказывалось о якобы начале заселения земель людьми между реками Лопань и Харьков, и именно опираясь на эти события стали считать эту дату годом основания, то как вариант и мы можем предположить, что год основания Харькова – 1654 год.

Последние оперативные новости Харькова в нашем Telegram-канале. Подписывайтесь, чтобы быть в курсе важнейшей информации

Итак, к этому не можем много придраться, и расценим ответ бота как правильный, тем более он вспомнил реку Лопань, что является значительным плюсом. Относительно «…во время строительства крепости Чугуева» бот мог перепутать даты, однако этот факт имеет логическую взаимосвязь, ведь город Чугуев Харьковской области был основан в 1638 году и именно в этом году на территории города была заложена неприступная военная крепость 17 века. Поэтому неудивительно, почему Чат-GPT вспомнил это событие, хотя и на документально-историческом уровне это будет считаться нарушением хронологии.

Уже в начале диалога можно понять, что в искусственный интеллект заложена определенная база данных, построенная в свою очередь на реальных фактах.

На следующем историческом вопросе бот дал ответ вовсе не совместимый с реальностью. На вопрос «Кто является основателем города Харькова», искусственный интеллект ответил: «Город Харьков был основан в 1654 году при строительстве крепости Чугуева. Основателем Харькова является Иван Шевченко, который был одним из сотрудников, участвовавших в строительстве этой крепости». Он вспомнил год основания, событие связанное, но основателя, к сожалению, придумал сам. Ни в исторических документах, ни в архивных онлайн-источниках данный человек не упоминался, и не имеет никакого отношения к реальному основателю. Единственное известно, что с таким именем и фамилией существует две исторические персоны – Шевченко Иван Андреевич (дед Тараса Григорьевича Шевченко, крестьянин из Кирилловки) и Шевченко Иван Иванович (украинский поэт во времена советской оккупации, входил в союз пролетарско-колхозных писателей общества «Плуг», далее – член Союза писателей Украины).

На самом деле, существует множество вариантов тех людей, кто мог основать Харьков. Одни связывают это с казаком Харьком, что больше похоже на местную легенду, другие – с названием города Шарукань (Харукань), который когда-то был половецкой столицей и находился в районе Чугуева у Северского Донца, а другие утверждают, что Харьков основали предки писателя Григория Квитки-Основьяненко.

Заметим, что добиться ответа удалось лишь с третьего раза, потому что текстовая нейросеть выдавала только дату и не понимала, что под «Кто» мы имеем в виду человека, до этого Чат GPT просто писал дату и повторял о крепости, построенной в Чугуеве. Также при попытке намекнуть, что ответ не правильный, бот извинялся и начинал генерировать каждый раз новых потенциальных учредителей, не имеющих никакого отношения к основанию Харькова.

Вопросы местного характера (о современном Харькове)

Как мы могли видеть вопросы исторического характера Чату GPT дались крайне нелегко, хотя он и всячески пытался подобрать нужные ответы на поставленные вопросы. Далее попытаемся расспросить искусственный интеллект о современном Харькове и посмотрим, как он может ориентироваться в этой тематике.

С вопросами о городских головах Харькова чат-бот справился на «ура» и даже предоставил дополнительную информацию, которая в этот раз соответствовала действительности.

Также ChatGPT отметил, что события могут изменяться, и он может проверить актуальность информации. Хоть он и предложил, но с этой задачей справиться не смог. Зато посоветовал обратиться к официальным источникам или прочитать новости.

Стоит отметить, что ранее ChatGPT версии 3.5 отмечал, что его база данных обновлена по конец 2021 года включительно, но после глобальных обновлений, периодически выходивших в течение последующих лет, он стал утверждать, что имеет данные уже за 2022 год, а время от времени при попытке спросить о чем-то новом мог сгенерировать сообщение, в котором объяснял, что пока не имеет актуальных данных и поэтому не может знать, что происходит в настоящее время, так как последний раз база данных обновлялась в 2023 году. От чего это зависит – достоверно неизвестно, но все правки, которые разработчики вносят в языковую модель, продолжают изменять ее в лучшую сторону.

Далее у искусственного собеседника спросили, кто же губернатор в Харькове. И на этом моменте начались сложности: сначала чат-бот подчеркнул, что нет актуальной информации на данный момент, посоветовал снова обратиться к официальным источникам, при последующей попытке назвать губернатора – выдал сообщение о мэре города, хотя просили назвать губернатора. И только с третьей попытки после уточняющего вопроса искусственный интеллект извинился за неточности и все-таки выдал желаемый ответ. При этом в каждом сообщении чат-бот будто бы сомневался и постоянно советовал проверять информацию.

На очереди вопрос о количестве районов в Харькове и их названии. С этим чат-бот справился очень быстро, но есть одно «но» – он не учел, что названия районов давно переименовались. Поэтому он просто написал старые названия, и интересно то, что среди старых названий встречались и новые.

При попытке спросить знает ли он новые, актуальные на данный момент времени названия – ответил, что к моменту его обновления базы данных никаких изменений не произошло. Еще один интересный момент, если база данных его обновлена до 2022 года включительно, то вероятно, что все события до 2022 года должны входить в список, но надежды были напрасными. Поэтому пришлось уточнить год, в котором начались работы по переименованию районов и задали еще дополнительный вопрос, в котором спросили, вообще ли он об этом знал. Если честно, то ответ немного удивил. Оказывается, GPT знал, что был начат процесс по переименованию районов в Харькове, но что-то пошло не так, и он не понял как использовать эти данные или просто соврал что знаком с этими событиями. В конечном итоге он исправился, однако совершил значительные ошибки. Для наглядного сравнения рассмотрим таблицу:

Можем подытожить, что чат-бот имеет некий запас информации, но не до конца понимает как ею оперировать. К тому же после очередной просьбы исправиться, он все равно выдал 9 районов с новыми и старыми названиями, в том числе с неправильными отношениями между старыми на новыми названиями. И только после длительных объяснений и предоставления достоверной информации из проверенных источников ему все же повторяет наш ответ с правильными названиями.

Один из самых трудных вопросов, который наш испытуемый полностью провалил – узнать, какой транспорт курсирует на конкретном участке города. Здесь искусственный интеллект не только попутал все маршруты и виды транспорта, но и придумал даже свои улицы и проложил по ним вымышленный маршрут. Так что если вы, вдруг думаете, что это самое умное онлайн-существо, которому можно что-то важное поручить, в данном случае проложить и подобрать маршрут городского транспорта – это роковая ошибка. Поэтому, ни в коем случае не используйте чат-помощника для прокладки маршрутов или уточнения адресов, содержащих точные цифры и названия, так вы не только опоздаете на важную встречу из-за лишнего затраченного времени на поиск нужной информации, но и еще рискуете заблудиться в городе если плохо в нем ориентируетесь. В таком случае лучше воспользоваться надежным и проверенным бесплатным картографическим веб-сервисом от Google – Google карты. Лучше этого приложения, которое доступно на Android, IOS и ПК вам дорогу никто не подскажет.

Достаточно хорошо чат-бот справился с названиями магазинов. Он указал их названия и какие продукты можно приобрести в каждом из этих магазинов. Но без ошибок тоже не обошлось. Объясняем:

• Относительно гипермаркетов и онлайн-магазинов – нареканий нет. Единственное неправильно написал название торгового центра «Эпицентр», ведь магазин имеет логотип на котором написано название на украинском языке, поэтому эту ошибку отнесем к мелким.
• Что касается продуктовых магазинов, присутствуют некоторые не точные формулировки. Отметим, Фуршет – украинская сеть магазинов. Существовала в 1998-2021 годах. В 2021 году был начат процесс банкротства. Уже 18 февраля 2021 года АМКУ (Антимонопольный комитет Украины) разрешил ООО «Сільпо-Фуд», компании-владельцы сети «Сільпо», купить 25 магазинов «Фуршет» в 21 городе Украины. Также как чат-бот отметил продуктовый магазин «Семья», то такого в Харькове не существует, под таким брендом есть мебельный магазин. Данный магазин мебели есть и в других городах Украины: Киеве, Львове, Днепре, Одессе, Черновцах, Полтаве, Хмельницком, Ивано-Франковске, в том числе и в Харькове.

Очередной вопрос для чат-бота: Какой самый большой спальный район Харькова? Ожидали, что он ответит – Салтовский. Ведь именно так большинство харьковчан и считают. Однако здесь есть несколько моментов почему бот ответил именно так, а не как ожидало большинство.

Во-первых, вероятно, он ориентировался на площадь районов, где Слободской – 24,3 км&³2;, а Салтовский – 22,7 км&³2;. Хотя если сравнивать по довоенным данным, то в Слободском районе проживало 146 850 человек, а вот в Салтовском гораздо больше – 302 600 человек. Поэтому ориентируясь на мнение харьковчан и на количество населения, то, конечно, Салтовский район получается огромным, а если по площади – Слободской доминирует. Итак, в этом вопросе может быть несколько верных ответов, а соответственно и чат-боту засчитаем плюсик.

Подводя итоги нашего эксперимента, можем сказать, что на данный момент языковая модель ChatGPT-3.5 (бесплатная версия, которая доступна каждому пользователю) имеет различия в формулировках и ответах, не справляется с актуальными данными, однако частично может ориентироваться хоть и с некоторыми погрешностями в событиях, случившиеся в прошлом.

Следует заметить, что эта технология совершенно новая и разработчики не стоят на месте, они постоянно анализируют и усовершенствуют текстовую нейросеть. Поэтому можем предположить, что в ближайшем будущем характер ответов изменится и это в значительной степени повлияет на достоверность сгенерированной информации. Не исключаем, что появится новый функционал, который будет доступен не только в платной версии, но и в бесплатной. На данный момент знания в ChatGPT не достаточны, чтобы его можно было приравнять к коренному харьковчанину, но искусственному интеллекту есть что перенять от людей и научиться чему-то новому, если это возможно на программном уровне.

Напомним, еще год назад ChatGPT был доступен только для ряда Европейских стран. Ситуация изменилась 18 февраля 2023 г., когда министр цифровой трансформации Михаил Федоров заявил, что СhatGPT стал наконец доступен для использования в Украине. До этого украинцы не могли свободно пользоваться сервисом. Для того чтобы обойти все запреты, им приходилось использовать VPN, а также услуги для приема SMS на виртуальные зарубежные номера. Теперь для использования чат-бота необходимо пройти стандартную процедуру регистрации через email и номер телефона.

Справка Vgorode: ChatGPT – это чат-бот, имеющий генеративный искусственный интеллект, разработанный компанией OpenAI и способный работать в диалоговом режиме, подобному общению в социальных сетях или других мессенджерах. Онлайн-помощник поддерживает запросы на разных языках, в том числе на украинском и русском. Система способна отвечать на вопросы, генерировать тексты, принадлежащие к разным отраслям, а в премиум версии (ChatGPT-4), недавно добавлена возможность даже генерировать рисунки. К тому же версия ChatGPT-4 отличается от ChatGPT-3.5 тем, что имеет лучшую скорость отклика и более точное генерирование текста. Пока не все ответы в бесплатной версии имеют правдивые утверждения, ведь искусственный интеллект еще учится и совершенствуется разработчиками, чтобы в дальнейшем давать более точные и развернутые ответы. Уже сейчас мы можем наблюдать потрясающий результат в области развития ИИ.