В центре внимания: инвариантные вероятностные представления в нейронных сетях

Вводный доклад Ишана Калбурге «Инвариантные вероятностные представления в нейронных сетях» Аннотация - Хотя все больше данных свидетельствует о том, что принятие решений человеком следует байесовским принципам, лежащие в основе нейронные вычисления остаются неизвестными. Недавние исследования показывают, что вероятностные представления естественным образом возникают в нейронных сетях, обученных с использованием не вероятностных целей. Однако предыдущие подходы к декодированию оценивали только то, можно ли декодировать апостериорные вероятности из нейронной активности, т.е. специфичность нейронного кода, не проверяя, отбрасывают ли эти представления нерелевантную входную информацию, т.е. инвариантность. Таким образом, они не могли отличить истинно вероятностные представления от тривиальных перепредставлений входных данных. Здесь мы формализуем это различие с помощью нового требования информационного узкого места: внутреннее представление сети должно максимизировать информацию о релевантных апостериорных вероятностях, минимизируя при этом информацию о входных данных. Основная идея заключается в том, что релевантные для задачи апостериорные вероятности должны быть декодируемы из активности скрытого слоя сети, которая использует апостериорную неопределенность для оптимального поведения, но если входные данные также декодируемы, сеть не преобразует эти входные данные в пригодный для последующих вычислений код. Используя этот подход, мы демонстрируем, что когда сети прямого распространения обучаются на классических задачах комбинирования сигналов без вероятностных целей, активность их скрытого слоя надежно кодирует релевантные для задачи апостериорные вероятности, но не может адекватно сжимать входные представления. Интересно, что мы обнаружили, что эти сети демонстрируют двухэтапные профили обучения: ранний этап, сохраняющий сжатие, за которым следует более поздний этап, который отбрасывает сжатие в пользу более сильной декодируемости апостериорных вероятностей. Наша работа предоставляет общую основу для оценки как специфичности, так и инвариантности в вероятностных нейронных кодах и, таким образом, закладывает основу для систематического изучения того, представлены ли, как и какие апостериорные вероятности в нейронных цепях во время сложных задач принятия решений. Мы хотели бы поблагодарить наших спонсоров этой конференции: XTX Markets, Google DeepMind, Context Fund, The Kavli Foundation, Wolfram Alpha, Artificial Intelligence Journal и Gatsby. 🧠 Узнайте больше о прошлых и будущих конференциях: https://www.thinkingaboutthinking.org/neuromonster