Sant Pere i Sant Josep, un procés de despoblament