Add or remove a participant