Women in RecSys: Метрики оценки справедливости отдельных элементов в рекомендательных системах

Терезия Вероника Рамписела (Копенгагенский университет), Мария Майстро, Туукка Руотсало и Кристина Лиома Аннотация: Справедливость — это новая и сложная тема в рекомендательных системах. В последние годы появились различные способы оценки и, следовательно, улучшения справедливости. В этом исследовании мы рассматриваем существующие меры оценки справедливости в рекомендательных системах. В частности, мы фокусируемся исключительно на мерах справедливости, основанных на показателе доступности отдельных элементов, которые направлены на количественную оценку различий в том, как отдельные элементы рекомендуются пользователям, независимо от релевантности элементов для пользователей. Мы собираем все такие меры и критически анализируем их теоретические свойства. Мы выявляем ряд ограничений в каждой из них, которые в совокупности могут сделать соответствующие меры сложными или невозможными для интерпретации, вычисления или использования для сравнения рекомендаций. Мы устраняем эти ограничения путем переопределения или корректировки соответствующих мер, или же мы обосновываем, почему определенные ограничения не могут быть устранены. Мы также проводим всесторонний эмпирический анализ как исходной, так и нашей скорректированной версий этих показателей справедливости, используя реальные и синтетические наборы данных. Наш анализ предоставляет новые сведения о взаимосвязи между показателями, основанными на различных концепциях справедливости, и различными уровнями чувствительности и строгости этих показателей. В заключение мы предлагаем практические рекомендации относительно того, какие показатели справедливости следует использовать и когда. Наш код находится в открытом доступе. Насколько нам известно, это первое критическое сравнение показателей справедливости отдельных элементов в рекомендательных системах.