go backsqlschool blogs list

Fast copy data from table to table

by Antonios Chatzipavlis

Δεν είναι σπάνιες οι φορές που χρειάζεται να μεταφερθούν δεδομένα από ένα πίνακα σε ένα άλλο οι λόγοι αρκετοί όπως table archiving, table partitioning κ.α.

Όταν οι εγγραφές είναι λίγες (<10000) ένα απλό INSERT SELECT statement είναι η εύκολη λύση με αρκετά καλό χρόνο απόκρισης και κάνεις μας δεν σκέφτεται κάτι άλλο εκτός από το να έχει όσο το δυνατό μικρότερο locking impact.

Τι γίνεται όμως όταν έχεις να μεταφέρεις δεδομένα που είναι πολλά;

Πρόσφατα χρειάστηκε να κάνω ένα table partitioning σε ένα πίνακα που είχε περίπου 1B rows σε ένα αρκετά καλό infrastructure.

Εξαρχής ήμουν πεπεισμένος για το ποια είναι η βέλτιστη διαδικασία και με αυτή ξεκίνησα αλλά ήθελα να δω και τις συμπεριφορές των άλλων περιπτώσεων.

Θα πρέπει να επισημάνω επίσης ότι σε τέτοιες διαδικασίες πέρα από τον βασικό σκοπό που είναι η μεταφορά των δεδομένων και του χρόνου που θα χρειαστεί είναι και το πόσο χώρο θα χρειαστεί το transaction log και το όσο το μικρότερο δυνατό locking impact.

Για τις μετρήσεις μου πήρα τα δεδομένα ενός μήνα που ήταν περίπου στα 20Μ rows και εκτέλεσα τρία σενάρια.

Το ένα ήταν με απλό INSERT SELECT το άλλο με ένα SSIS package και το άλλο κάνοντας χρήση του BCP και τα αποτελέσματα φαίνονται παρακάτω.


chart 1

chart 2

Θα πρέπει να επισημάνω ότι δεν υπήρχαν απαιτήσεις transformation καθώς το BCP σε αυτή την περίπτωση έχει περιορισμένες δυνατότητες σε σχέση με τις άλλες λύσεις.

Τέλος να πως ότι για να έχω τον καλύτερο έλεγχο της διαδικασίας με το BCP έκανα export/import τα δεδομένα ανά μήνα και όλη διαδικασία δεν πήρε πάνω από 15 ώρες καθώς ήταν 60 μήνες.


//antonch


Ημερομηνία: 20 August 2017 14:46
Αξιολόγηση: ( 2 )
Κατηγορίες:
Tags:
Share it:

Αφήστε το σχόλιο σας - Leave your comment

Τα σχόλια έχουν κλείσει.
Επιτρέπονται μόνο τα σχόλια από τα μέλη του SqlSchool.gr.


newsletter subscription

Εάν επιθυμείτε να λαμβάνετε ενημέρωση από εμάς, δώστε μας το e-mail σας.
PASS chapter logo
Official Professional Association for SQL Server (PASS) chapter for Greece
Join to PASS