10 миллионов классов, или 4 способа решить задачу Record Linkage. Михаил Хрущев, Контур

Сейчас в тренде собирать информацию обо всем, что можно идентифицировать: о компаниях, людях, товарах. Однако, решая эту задачу вы непременно столкнетесь с необходимостью определять, какая информация относится к одинаковым объектам, а какая к разным. Этот тип задач называется Record Linkage, и моя команда уже несколько лет успешно решает их в различных контекстах. На митапе я поделюсь опытом, покажу несколько способов, начиная от классического ML и вероятностных методов, заканчивая глубоким обучением.