Пошук від Яндекса: кручу, верчу, заплутати хочу

Буквально кілька днів тому Яндекс запустив нову версію пошуку, назвавши її на честь радянського конструктора ракетно-космічної техніки. Мабуть, гугловскі птице-звіри не дають Платону Щукіну спати спокійно, і в російському куточку інтернету вирішили придумати свою фічу, спаяну з іншим трендом – нейронною мережею.

Пошуковий алгоритм «Корольов» хоча й нічого не пояснює своєю назвою, але підсвідомо відсилає до науковості, на відміну від зоопарку Google з його пандами, пінгвінами та колібрі. Суть же нового алгоритму зводиться до того, що за допомогою нейронної мережі він зіставляє сенс запитів зі змістом веб-сторінок, що дозволяє Яндексу видавати користувачам більш релевантні відповіді.

Поки що алгоритм лише вчиться, збирається статистика, а юзери страждають від недосконалості «Корольова», отримуючи у видачі дику суміш із реклами і дорвеїв, внаслідок чого вони вимушені використовувати більш однозначні запити. Загалом, ні про який штучний інтелект мова не йде, пошук став лише гірший.

У будь-якому разі, за запевненням розробників, алгоритм «Корольов» здатний навчатися, і, цілком можливо, одного разу він проявить себе не гірше за знаменитого основоположника практичної космонавтики. Але поки що доступні тільки малі висоти.

Алгоритм «Корольов» – семантика проти слів

Спочатку Яндекс умів ранжирувати сайти тільки по щільності ключа, і чим частіше на сторінці попадалися ключі із запиту, тим більше він підходив. Трохи пізніше пошукові системи стали враховувати зовнішні посилання на сторінки, навчилися пізнавати регіон, звідки прийшов запит, а потім почали звертати увагу і на поведінку користувачів. Це, останнє поліпшення, і започаткувало алгоритм «Корольов».

На даний момент Яндекс спирається на слова, а не на сенси. Механізм же видачі приблизно такий: спочатку робот визначає «заздалегідь відповідні» веб-сторінки, що вміщують слова з пошукового запиту. При цьому значення слів не враховується – тільки факт входження. Потім запускається багатоскладна формула ранжирування, розподіляючи сайти по топ-10, 20, 30…

Необхідність змін в алгоритмах пошукової системи зріла давно: один і той же сенс можна сформулювати різними словами. І навіть якщо на сторіночці немає жодного слова з пошукового запиту, це не означає, що вона не пояснює сенс питання, заданого юзером.

Приміром, користувач вбив у пошук «купити машину». Але на сайті такого ключа немає – ні складеного ключа, ні окремо «купити» і «машина». А вся річ у тому, що копірайтер використав інші слова: замість «купити» – «придбати», а замість «машина» – «автомобіль». В результаті, якою б цікавою і якісною не була стаття, користувач її не побачить.

Як працює алгоритм «Корольов»

Оновлений пошук працює не стільки зі словами, скільки із сенсами, зіставляючи семантичні вектори запитів юзерів і веб-сторінок, причому аналізується уся сторінка цілком – і її заголовок, і сам текст. До речі, початок «Корольову» було закладено ще в 2016 році, коли Яндекс запустив свій новий пошуковий алгоритм – «Палех».

Головний секрет алгоритму «Корольов» полягає в тому, що обчислювальні операції тепер займають значно більше часу, а тому аналіз семантики сторінки відбувається не після того, як користувач вбив запит, а до – ще під час індексації веб-документу. Говорячи простіше, сторінці привласнюється певний ідентифікаційний код. Він же привласнюється і пошуковому запиту, і при збігу таких кодів стаття потрапляє на сторінку видачі.

Уміння розуміти сенс вкрай важливе. Особливо коли користувач шукає щось за допомогою синонімів або забув термін і намагається описати щось своїми словами. Чи вдасться академікові «Корольову» розібратися в семантиці так, як він розібрався в ракетобудуванні, покаже лише практика. Поки ж нейронна мережа схожа на дірявий невід, закидати який доводиться по десятку разів.