Если просто удалить контакт из телефонной книги вашего телефона, то этот контакт все равно останется в контактах Telegram. Эта инструкция показывает как удалить контакт и из Telegram так же.