На Reddit и HN развернулись большая дискуссия на тему последних достижений системы машинного обучения Facebook. Даже опытные разработчики сходу не могут понять, каким образом Facebook «угадывает» конкретные факты, которое, вроде бы, никак не может знать.
Последней темой обсуждения стали географические подсказки, которые Facebook выводит при загрузке фотографий на сайт. Зачастую он точно угадывает, где конкретно были сделаны снимки, с точностью до улицы и конкретного здания. При этом в фотографиях нет EXIF-заголовков, на камере нет GPS, файлы загружались на сайт с другого места (то есть геотаггинг не работает), а на снимках изображены, например, новорожденный в роддоме или смазанные интерьеры ночного клуба (то есть фотографии сделаны внутри здания). Контекстный таггинг тоже не должен работать — на фотографиях не распознаны никакие лица или надписи.
Пока что рабочих гипотез несколько. Возможно, здесь применяются методы недавно купленного стартапа Color. Кроме того, Facebook может делать какие-то выводы из истории ваших перемещений по GPS-координатам с другого устройства (не с камеры, а с телефона) и путём статистического анализа текста на всех веб-страницах, которые вы прочитали, ведь на большинстве заметных сайтов установлены «троянские» кнопки Facebook Like, которые посылают информацию о посещении страницах, даже если пользователь не нажимал кнопку.
В случае с фотографией новорожденного из больницы Facebook мог снимать данные со смартфона — скорее всего, в телефоне пользователя было установлено Facebook-приложение, которое и подсказало GPS-координаты последних мест, которые посещал пользователь.
В других случаях Facebook может использовать сразу несколько методов анализа фотографии. Например, место съёмки этой фотографии Facebook точно распознал конкретное место в Коста-Рике, не имея никаких EXIF или GPS-данных. Возможно, он проанализировал соседние фотографии из того же альбома.
В других случаях Facebook распознаёт места на фотографиях, сделанных два года назад в совершенно другой стране. Здесь можно предположить поиск похожих фотографий от других пользователей, которые фотографировали тот же ландшафт и опубликовали его координаты.
Вообще, накапливая огромный массив статистической информации о миллиардах пользователей, алгоритмы машинного обучения когда-нибудь смогут не то что определять место сделанных фотографий, но и с большой степенью вероятности предсказывать судьбу конкретного человека. Это чем-то напоминает демона Лапласа: имея информацию о положении и направлении всех атомов во Вселенной, якобы можно точно предсказать будущее Вселенной. Точно так же и Facebook, имея информацию о всех действиях индивидуума и прочитанных текстах, теоретически может предсказывать будущие действия индивидуума — если вы верите в такую степень детерминизма.
В качестве противодействия пользователи предлагают закачивать на Facebook фотографии с поддельными EXIF-заголовками, чтобы сбить систему распознавания образов с привязкой к местности. Скоординированными усилиями по образцу гуглобомбинга можно заставить их поверить, что объект Х находится в деревне Гадюкино — и для всех, кто загружает фотографию объекта X, Facebook будет предлагать вариант Гадюкино. Пусть с Эйфелевой башней не получится, но с каким-нибудь редким объектом можно попробовать.