ChatGPT здає екзамен на корінного мешканця: чи зможе штучний інтелект відповісти на прості запитання про Харків

Усі ми живемо в епоху технологій, де розвивається не тільки сфера машинобудування, мобільного зв’язку, побутових електроприладів, а й активно починають з’являтися нововведення із сфери штучного інтелекту та робототехніки. Усім відомий текстовий помічник і віртуальний співбесідник Чат GPT, який здатен підтримати діалог, давати поради або відповідати на різні запитання. Кожен із нас хоча б раз його використовував для розваги або з метою отримати певну відповідь, а можливо хтось зміг знайти практичне застування в своїй роботі. Vgorode експериментував, чи зможе штучний інтелект пройти «Тест на Харків’янина», відповівши на різні питання, різної складності, які насамперед пов’язані з Харковом. Тож, читайте у нашому матеріалі, що з цього вийшло і чи зміг зрештою штучний інтелект перевершити у знанні рідного міста корінних мешканців.

Після привітання з ботом ми запропонували пройти йому невеличкий тест на знання міста Харкова, на що він із радістю погодився(у нього не було вибору, адже у модель закладено відповіді, які базуються на продовженні діалогу). Хоч це і штучний інтелект, який не має людських емоцій та почуттів, усе одно ми вирішили для «розминки» почати із простих питань, які поступово будуть переростати у більш складні, на які може правильно відповісти лише людина. Усі питання будуть ставитися штучній моделі ChatGPT-3.5.

Історичні питання

Перше питання історичного характеру на яке чат-бот дав відповідь: в якому році було засновано місто Харків? На перший погляд для звичайних людей, мешканців інших міст чи для тих, хто мало або зовсім не цікавиться історією може здатися що все ідеально. Адже за лічені секунди користувач отримує дату заснування й навіть за яких умов було засновано місто. Але давайте трохи поглибимося в історію і розберемося, де ж Чат GPT міг допустити хоч не значну, проте помилку, яка в наукових робітах чи історичних матеріалах може видатися «грубою» і не відповідати реальним фактам.  

По-перше, дата, яка є роком заснування Харкова (1654 рік) стала офіційною приблизно 17 років тому, адже у різних історичних документах фігурували наступні дати: 1654, 1655,1656 рр.  А ось в «Літописі Самовидця» взагалі велика розбіжність – 1651 рік.  

По-друге, виходячи із наступного знайденого документу, який датований 1654 роком, у змісті якого розповідалося про нібито початок заселення земель людьми між річками Лопань і Харків, і саме спираючись на ці події стали вважати цю дату роком заснування, то як варіант і ми можемо припустити, що рік заснування Харкова – 1654.

Останні оперативні новини Харкова у нашому Telegram-каналі. Підписуйтесь, щоб бути в курсі найважливішої інформації

Отже, до цього не можемо багато прискіпуватися, і зарахуємо боту відповідь як правильну, тим баче він згадав річку Лопань, що є значним плюсом. Щодо «…під час будівництва фортеці Чугуєва», бот міг переплутати дати, проте цей факт має логічний взаємозв’язок, адже місто Чугуїв Харківської області було засновано у 1638 році і саме у цьому році на території міста було закладено неприступну військову фортецю 17 століття. Тому не дивно чому Чат-GPT пригадав цю подію, хоч і на документально-історичному рівні це буде вважатися порушенням хронології.

Уже на початку діалогу можна зрозуміти, що в штучний інтелект закладена певна база даних, яка в свою чергу побудована на реальних фактах.

На наступному історичному питанні бот видав відповідь зовсім не сумісну з реальністю. На питання «Хто є засновником міста Харкова», штучний інтелект відповів: «Місто Харків було засновано у 1654 році під час будівництва фортеці Чугуєва. Засновником Харкова є Іван Шевченко, який був одним із співробітників, що приймали участь у будівництві цієї фортеці». Він згадав рік заснування, подію пов’язану, але засновника, на жаль, вигадав сам. Ні в історичних документах, ні в архівних онлайн-джерелах дана людина не згадувалася, і не має ніякого відношення до реального засновника. Єдине відомо, що з таким ім’ям та прізвищем існує дві історичні постаті – Шевченко Іван Андрійович (дід Тараса Григоровича Шевченко, селянин із Кирилівки) та Шевченко Іван Іванович(український поет за часів радянської окупації, входив до складу спілки пролетарсько-колгоспних письменників товариства «Плуг», згодом – член Спілки письменників України).

Насправді існує безліч варіантів тих людей, хто міг заснувати Харків. Одні пов’язують це із козаком Харьком, що більше схоже на місцеву легенду, інші – з назвою міста Шарукань (Харукань), яке колись було половецькою столицею і знаходилось в районі Чугуєва біля Сіверського Дінця, а інші стверджують, що Харків заснували пращури письменника Григорія Квітки-Основ’яненка.

Зауважимо, що домогтися відповіді вдалося лише з третього разу, бо текстова нейромережа видавала лише дату і не розуміла, що під «Хто» ми маємо на увазі людину, до цього Чат GPT просто писав дату і повторював про фортецю, побудовану в Чугуєві. Також при спробі натякнути, що відповідь не правильна, бот вибачався і починав генерувати кожен раз нових потенційних засновників, які не мали ніякого відношення до заснування Харкова.

Питання місцевого характеру(про сучасний Харків)

Як ми могли бачити питання історичного характеру Чату GPT далися вкрай не легко, хоч він й усіляко намагався підібрати потрібні відповіді на поставлені запитання. Далі спробуємо розпитати штучний інтелект про сучасний Харків і подивимося як він може орієнтуватися в цій тематиці.

Із запитаннями про міських голів Харкова чат-бот впорався на «ура» та навіть надав додаткову інформацію, яка на цей раз відповідала дійсності.

Також ChatGPT зазначив, що події можуть змінюватися і він може перевірити актуальність інформацію. Хоч він і запропонував, проте з цією задачею впоратися не зміг. Натомість лише порадив звернутися до офіційних джерел або прочитати новини.

Варто відзначити, що раніше ChatGPT версії 3.5 наголошував, що його база даних оновлена по кінець 2021 року включно, але після глобальних оновлень, які періодично виходили протягом наступних років онлайн-помічник став стверджувати, що має дані вже за 2022 рік, а час від часу при спробі запитати про щось нове міг згенерувати повідомлення, в якому пояснював, що наразі не має актуальних даних і через це не може знати, що відбувається у теперішній час, так, як останній раз база даних оновлювалася в 2023 році. Від чого це залежить – достовірно невідомо, але всі правки, які розробники вносять у мовну модель продовжують змінювати її в кращу сторону.  

Далі у штучного співрозмовника запитали, хто ж є губернатором у Харкові. І на цьому моменті почалися складнощі: спочатку чат-бот наголосив, що не має актуальної інформації на цей час, порадив знову звернутися до офіційних джерел, при наступній спробі назвати губернатора – видав повідомлення про мера міста, хоча просили назвати губернатора. І лише з третьої спроби після уточнюючого питання, штучний інтелект вибачився за неточності і все-таки видав бажану відповідь. При цьому у кожному повідомленні чат-бот ніби сумнівався і постійно радив перевіряти інформацію.  

На черзі питання про кількість районів у Харкові та їх назву. З цим чат-бот впорався дуже швидко, але є одне «але» – він не врахував, що назви районів давно перейменувалися. Тож він просто написав старі назви, і цікаве є те, що серед старих назв зустрічалися й нові.

При спробі запитати чи знає він нові, актуальні на даний момент часу назви – відповів, що на момент його оновлення бази даних ніяких змін не відбулося. Ще один цікавий момент, якщо база даних його оновлена до 2022 року включно, то ймовірно, що всі події до 2022 повинні входити в список, але сподівання були марними. Тому довелося уточнити рік в якому розпочалися заходи щодо перейменування районів і задали ще додаткове питання, в якому спросили чи взагалі він про це знав. Якщо чесно, то відповідь трохи здивувала. Виявляється, GPT знав, що було розпочато процес по перейменування районів у місті Харкові, але щось пішло не так, і він не зрозумів як використати ці дані або просто збрехав що знайомий з цими подіями. У кінцевому результаті він виправився, проте наробив значних помилок. Для наочного порівняння розглянемо таблицю:

Можемо зробити висновки, що чат-бот має якийсь запас інформації, але не досконало розуміє як нею оперувати. До того ж після чергового  прохання виправитися, він усе рівно видав 9 районів з новими та старими назвами, зокрема з неправильними відношеннями між старою на новою назвами. І тільки після тривалих пояснень і надання достовірної інформації з перевірених джерел, йому все ж вдається повторити нашу відповідь з правильними назвами.

Одне з найважчих питань, яке наш піддослідний повністю провалив – дізнатися який транспорт курсує на конкретній ділянці міста. Тут штучний інтелект не тільки сплутав усі маршрути і види транспорту, а й вигадав навіть свої вулиці та проклав по ним вигаданий маршрут. Тож якщо ви, раптом думаєте, що це найрозумніша онлайн-істота, якій можна щось важливе доручити, у даному випадку прокласти і підібрати маршрут міського транспорту – це фатальна помилка. Тому, ні в якому разі не використовуйте чат-помічника для прокладання маршрутів або уточнення адрес, які містять точні цифри та назви, так ви не тільки спізнитеся на важливу зустріч через зайвий витрачений час на пошук потрібної інформації, а й ще ризикуєте заблукати в місті якщо погано у ньому орієнтуєтеся. У такому разі краще скористатися надійним і перевіреним безкоштовним картографічним веб-сервісом від компанії Google – Google карти. Краще цього застосунка, який доступний на Android, IOS та ПК вам дорогу ніхто не підкаже. 

Доволі добре чат-бот впорався із назвами магазинів. Він вказав їх назви та які товари можна придбати в кожному з цих магазинів. Але без помилок також не обійшлося. Пояснюємо:

• Стосовно гіпермаркетів та онлайн-магазинів – нарікань нема. Єдине неправильно написав назву торгівельного центру «Епіцентр», адже магазин має логотип на якому написана назва українською мовою, тож цю помилку зарахуємо до дрібних.
• Щодо продуктових магазинів присутні деякі не точні формулювання. Відзначимо, Фуршет — українська мережа магазинів. Існувала в 1998—2021 роках. 2021 року був розпочатий процес банкрутства. Уже 18 лютого 2021 року, АМКУ (Антимонопольний комітет України) дозволив ТОВ «Сільпо-Фуд», компанії-власниці мережі «Сільпо», купити 25 магазинів «Фуршет» у 21 місті України. Також як чат-бот зазначив про продуктовий магазин «Сім’я», то такого в Харкові не існує, під таким брендом є мебельний магазин. Даний магазин є й в інших містах України: Києві, Львові, Дніпрі, Одесі, Чернівцях, Полтаві, Хмельницькому, Івано-Франківську, зокрема й в Харкові.

Чергове питання для чат-боту: Який найбільший спальний район Харкова. Очікували, що він відповість – Салтівський. Адже саме так більшість харків’ян й вважає. Проте тут є декілька моментів чому бот відповів саме так, а не як очікувала більшість.

По-перше, вірогідно він орієнтувався на площу районів, де Слобідський – 24,3 км&³2;, а Салтівський – 22,7 км&³2;. Хоча якщо порівнювати за довоєнними даними, то в Слобідському районі мешкало 146 850 осіб, а ось у Салтівському набагато більше – 302 600 осіб. Тому орієнтуючись на думку харків’ян та на кількість населення, то звісно, Салтівський район виходить величезним, а якщо по площі – Слобідський домінує. Тож, у цьому питанні може бути декілька вірних відповідей , а відповідно й чат-боту зарахуємо плюсик.

Підводячи підсумки нашого експерименту можемо сказати, що на даний момент мовна модель ChatGPT-3.5(безкоштовна версія, яка доступна кожному користувачу) має розбіжності у формулюваннях та відповідях, не справляється з актуальними даними, проте частково може орієнтуватися  хоч і з деякими похибками в подіях, які трапилися в минулому.

Варто зауважити, що ця технологія зовсім нова і розробники не стоять на місці, вони постійно аналізують та вдосконалюють текстову нейромережу. Тому можемо припустити, що в найближчому майбутньому характер відповідей зміниться і це значною мірою вплине на достовірність згенерованої інформації. Не виключаємо, що з’явиться новий функціонал, який буде доступний не лише в платній версії, а й у безкоштовній також. На даний момент знання в ChatGPT не достатні аби його можна було прирівняти до корінного харків’янина, але штучному інтелекту є що перейняти від людей і навчитися чомусь новому якщо це можливо на програмному рівні. 

Нагадаємо, ще рік тому, ChatGPT був доступний лише для низки Європейських країн. Ситуація змінилася 18 лютого 2023 року, коли міністр цифрової трансформації Михайло Федоров заявив, що СhatGPT став нарешті доступний для використання в Україні. До цього українці не могли вільно скористатися сервісом. Для того щоб обійти всі заборони їм доводилося використовувати VPN, а також послуги для прийому SMS на віртуальні закордонні номери. Тепер для використання чат-бота потрібно пройти стандартну процедуру реєстрації через email і номер телефону.

Довідка Vgorode: ChatGPT – це чат-бот, який має генеративний штучний інтелект, розроблений компанією OpenAI і здатний працювати в діалоговому режимі, подібному до спілкування в соціальних мережах або інших месенджерах. Онлайн-помічник підтримує запити на різних мовах, зокрема українською та російською. Система здатна відповідати на питання, генерувати тексти, що належать до різних галузей, а в преміум версії(ChatGPT-4), не так давно додана можливість, навіть, генерувати малюнки. До того ж версія ChatGPT-4 відрізняється від ChatGPT-3.5 тим, що має кращу швидкість відгуку та точніше генерування тексту. Наразі не всі відповіді у безкоштовній версії мають правдиві твердження, адже штучний інтелект ще навчається та вдосконалюється розробниками аби в подальшому давати більш точні та розгорнуті відповіді. Уже зараз ми можемо спостерігати приголомшливий результат у сфері розвитку ШІ.