Так называют человека, на которого сваливают чужую вину. История этого выражения такова: у древних евреев существовал обряд отпущения грехов. Священник возлагал обе руки на голову живого козла, тем — самым как бы перекладывая на него грехи всего народа. После этого козла изгоняли в пустыню. Прошло много-много лет, и обряда уже не существует, а выражение все живет.