"Он жаловался в разные инстанции, начиная от местных и заканчивая президентом" – перед "начиная" должна быть запятая?

Да, запятая поставлена верно, хотя предложение лучше переформулировать. Оборот «начиная .... и заканчивая» обособляется.