Уменьшил потребление памяти, но длинная арифметика не увеличилась от этого.

Программа возводит в квадрат огромное число и оно даже больше, чем вам позволит gmp. Предел gmp один миллиард с копейками, а здесь 8,4 млрд.