Словарь Даля говорит нам, что "Сволочь — все, что сволочено или сволоклось в одно место: бурьян, трава и коренья, сор, сволоченный бороною с пашни". Со временем этим словом стали определять ЛЮБУЮ толпу, собравшуюся в одном месте. И уж потом им стали именовать всяческий презренный люд — алкашей, воришек, бродяг и прочие асоциальные элементы.

С Шантрапою дела обстоят куда курьезнее.

Известно, что не все французы добрались до Франции. Многих, взятых в плен, русские дворяне устроили к себе на службу. Для страды они, конечно, не годились, а вот как гувернеры, учителя и руководители крепостных театров пришлись кстати. Присланных на кастинг мужичков они экзаменовали и, если талантов в претенденте не видели, махали рукой и говорили "Сhantra pas" ("к пению не годен").

Про остальные "обзывалки" здесь - http://www.do100verno.com/blog/928