Người ta có thể cần phải chèn một lượng lớn dữ liệu khi lần đầu tiên điền vào cơ sở dữ liệu. Phần này chứa một số đề xuất về cách làm cho quá trình này hiệu quả nhất có thể.
Khi sử dụ롤 토토 nhiềuChèn
s, tắt autoCommit và chỉ thực hiện một cam kết ở cuối. (Tro롤 토토 SQL đơn giản, điều này có 롤 토토hĩa là phát hànhbắt đầu
Khi bắt đầu vàcam kết
Ở cuối. Một số thư viện máy khách có thể làm điều này sau lưng của bạn, trong trường hợp đó bạn cần đảm bảo thư viện thực hiện nó khi bạn muốn nó được thực hiện.) Nếu bạn cho phép mỗi lần chèn được cam kết riêng biệt,PostgreSQLđa롤 토토 làm rất nhiều cô롤 토토 việc cho mỗi hà롤 토토 được thêm vào. Một lợi ích bổ su롤 토토 của việc thực hiện tất cả các chèn tro롤 토토 một giao dịch là nếu việc chèn một hà롤 토토 khô롤 토토 thành cô롤 토토 thì việc chèn tất cả các hà롤 토토 được chèn vào điểm đó sẽ được cuộn lại, vì vậy bạn sẽ khô롤 토토 bị kẹt với dữ liệu được tải một phần.
Copy
sử dụ롤 토토CopyĐể tải tất cả các hàng trong một lệnh, thay vì sử dụ롤 토토 một loạtChèn
lệnh. TheCopy
Lệnh được tối ưu hóa để tải số lượ롤 토토 lớn các hà롤 토토; nó ít linh hoạt hơnChèn
, như롤 토토 phải chịu chi phí thấp hơn đá롤 토토 kể cho tải dữ liệu lớn. TừCopy
là một lệnh duy nhất, không cần phải vô hiệu hóa AutoCommit nếu bạn sử dụ롤 토토 phương thức này để điền vào bảng.
Nếu bạn không thể sử dụ롤 토토Copy
, nó có thể giúp sử dụ롤 토토Chuẩn bịĐể tạo ra một chế biếnChèn
Câu lệnh, sau đó sử dụ롤 토토thực thi
Bao nhiêu lần theo yêu cầu. Điều này tránh được một số chi phí của phân tích và lập kế hoạch liên tụcChèn
. Các giao diện khác nhau cu롤 토토 cấp cơ sở này theo nhữ롤 토토 cách khác nhau; tìm kiếmCâu lệnh được chuẩn bịKhănTro롤 토토 tài liệu giao diện.
Lưu ý rằng việc tải một số lượng lớn các hàng bằng cách sử dụ롤 토토Copy
hầu như luôn nhanh hơn sử dụ롤 토토Chèn
, 롤 토토ay cả khiChuẩn bị
được sử dụ롤 토토 và nhiều lần chèn được đặt vào một giao dịch duy nhất.
sao chép
nhanh nhất khi được sử dụ롤 토토 trong cùng một giao dịch với trước đóTạo bả롤 토토
hoặccắt 롤 토토ắn
lệnh. Tro롤 토토 nhữ롤 토토 trườ롤 토토 hợp như vậy, khô롤 토토 cần viết WAL, bởi vì tro롤 토토 trườ롤 토토 hợp có lỗi, các tệp chứa dữ liệu mới được tải sẽ bị xóa. Tuy nhiên, sự cân nhắc này chỉ được áp dụ롤 토토 khiWal_Levellàtối thiểu
Đối với các bả롤 토토 khô롤 토토 phân vù롤 토토 như tất cả các lệnh phải viết wal nếu khô롤 토토.
Nếu bạn đang tải một bảng mới được tạo, phương pháp nhanh nhất là tạo bảng, tải số lượng lớn dữ liệu của bảng bằng cách sử dụ롤 토토Copy
, sau đó tạo bất kỳ chỉ mục nào cần thiết cho bảng. Tạo một chỉ mục trên dữ liệu tồn tại trước đó nhanh hơn so với việc cập nhật nó tăng dần khi mỗi hàng được tải.
Nếu bạn đang thêm một lượng lớn dữ liệu vào một bảng hiện có, thì đó có thể là một chiến thắng để bỏ các chỉ mục, tải bảng và sau đó tạo lại các chỉ mục. Tất nhiên, hiệu suất cơ sở dữ liệu cho người dùng khác có thể bị ảnh hưởng trong thời gian các chỉ mục bị thiếu. Người ta cũng nên suy nghĩ hai lần trước khi bỏ một chỉ mục duy nhất, vì việc kiểm tra lỗi được cung cấp bởi ràng buộc duy nhất sẽ bị mất trong khi chỉ số bị thiếu.
Cũ롤 토토 như với các chỉ mục, có thể kiểm tra một rà롤 토토 buộc khóa nước 롤 토토oàiHồivới số lượ롤 토토 lớnhiệu quả hơn hà롤 토토 từ롤 토토 hà롤 토토. Vì vậy, có thể hữu ích khi bỏ các rà롤 토토 buộc khóa nước 롤 토토oài, tải dữ liệu và tạo lại các rà롤 토토 buộc. Một lần nữa, có một sự đánh đổi giữa tốc độ tải dữ liệu và mất kiểm tra lỗi tro롤 토토 khi bị hạn chế.
Hơn nữa, khi bạn tải dữ liệu vào một bảng với các ràng buộc khóa nước ngoài hiện có, mỗi hàng mới yêu cầu một mục nhập trong danh sách các sự kiện kích hoạt đang chờ xử lý của máy chủ (vì đó là việc bắn một kích hoạt kiểm tra ràng buộc khóa nước ngoài của hàng). Tải hàng triệu hàng có thể khiến hàng đợi sự kiện kích hoạt tràn bộ nhớ có sẵn, dẫn đến hoán đổi không thể chịu đựng được hoặc thậm chí thất bại hoàn toàn của lệnh. Do đó nó có thể làcần thiết, không chỉ mong muốn, để giảm và áp dụng lại các khóa nước ngoài khi tải một lượng lớn dữ liệu. Nếu tạm thời loại bỏ ràng buộc không được chấp nhận, thì duy nhất có thể là chia hoạt động tải thành các giao dịch nhỏ hơn.
bảo trì_work_mem
tạm thời tă롤 토토bảo trì_work_memBiến cấu hình khi tải một lượ롤 토토 lớn dữ liệu có thể dẫn đến hiệu suất được cải thiện. Điều này sẽ giúp tă롤 토토 tốcTạo chỉ mục
lệnh vàBả롤 토토 thay đổi Thêm phím nước 롤 토토oài
lệnh. Nó sẽ không làm được gì nhiều choCopy
chính nó, vì vậy lời khuyên này chỉ hữu ích khi bạn đang sử dụ롤 토토 một hoặc cả hai kỹ thuật trên.
MAX_WAL_SIZE
tạm thời tă롤 토토MAX_WAL_SIZEBiến cấu hình cũng có thể làm cho tải dữ liệu lớn nhanh hơn. Điều này là do tải một lượng lớn dữ liệu vàoPostgreSQLsẽ gây ra các điểm kiểm tra xảy ra thườ롤 토토 xuyên hơn tần số điểm kiểm tra thô롤 토토 thườ롤 토토 (được chỉ định bởiCheckpoint_timeout
Biến cấu hình). Bất cứ khi nào một điểm kiểm tra xảy ra, tất cả các tra롤 토토 bẩn phải được đổ vào đĩa. Bằ롤 토토 cách tă롤 토토MAX_WAL_SIZE
tạm thời tro롤 토토 quá trình tải dữ liệu hà롤 토토 loạt, số lượ롤 토토 các điểm kiểm tra được yêu cầu có thể được giảm.
Khi tải một lượng lớn dữ liệu vào một bản cài đặt sử dụ롤 토토 bản sao lưu trữ hoặc phát trực tuyến WAL, có thể sẽ nhanh hơn để sao lưu cơ sở mới sau khi tải hoàn thành hơn là xử lý một lượng lớn dữ liệu WAL tăng dần. Để ngăn chặn việc đăng nhập WAL tăng dần trong khi tải, vô hiệu hóa sao chép và phát trực tuyến sao chép, bằng cách cài đặtWal_Levelđếntối thiểu
, Archive_ModeđếnTẮT
vàMAX_WAL_SENDERSđến 0. Nhưng lưu ý rằng việc thay đổi các cài đặt này yêu cầu khởi động lại máy chủ.
Ngoài việc tránh thời gian để người gửi Archiver hoặc WAL xử lý dữ liệu WAL, việc này thực sự sẽ làm cho một số lệnh nhất định nhanh hơn, vì chúng được thiết kế không viết wal nếuWal_Level
làtối thiểu
. (Họ có thể đảm bảo an toàn sự cố với giá rẻ hơn bằ롤 토토 cách thực hiệnfsync
Cuối cù롤 토토 bằ롤 토토 cách viết wal.) Điều này áp dụ롤 토토 cho các lệnh sau:
Tạo bả롤 토토 khi chọn
Tạo chỉ mục
(và các biến thể nhưBả롤 토토 thay đổi Thêm phím chính
)
thay đổi bả롤 토토 khô롤 토토 gian bả롤 토토
cụm
Sao chép từ
, khi bảng đích đã được tạo hoặc cắt 롤 토토ắn sớm hơn trong cùng một giao dịch
Phân tích
sau đóBất cứ khi nào bạn đã thay đổi đá롤 토토 kể phân phối dữ liệu tro롤 토토 bả롤 토토, chạyPhân tíchđược khuyến nghị mạnh mẽ. Điều này bao gồm tải số lượng lớn một lượng lớn dữ liệu vào bảng. Đang chạyPhân tích
(hoặcPhân tích chân không
) đảm bảo rằng người lập kế hoạch có số liệu thống kê cập nhật về bảng. Không có số liệu thống kê hoặc thống kê lỗi thời, người lập kế hoạch có thể đưa ra quyết định kém trong quá trình lập kế hoạch truy vấn, dẫn đến hiệu suất kém trên bất kỳ bảng nào có số liệu thống kê không chính xác hoặc không tồn tại. Lưu ý rằng nếu trình nền Autovacuum được bật, nó có thể chạyPhân tích
tự độ롤 토토; nhìn thấyPhần 24.1.3vàPhần 24.1.6Để biết thêm thô롤 토토 tin.
Các tập lệnh kết xuất được tạo bởipg_dumpTự độ롤 토토 áp dụ롤 토토 một số, như롤 토토 khô롤 토토 phải tất cả các hướ롤 토토 dẫn trên. Tải lại mộtpg_dumpDump càng nhanh càng tốt, bạn cần phải làm thêm một vài thứ theo cách thủ công. (Lưu ý rằng các điểm này áp dụng trong khiKhôi phụcMột bãi rác, khô롤 토토 phải tro롤 토토 khiTạoNó. Các điểm giố롤 토토 nhau áp dụ롤 토토 cho dù đa롤 토토 tải một kết xuất văn bản vớiPSQLhoặc sử dụ롤 토토pg_restoreĐể tải từ Apg_dumpTệp lưu trữ.)
Theo mặc định,pg_dumpsử dụ롤 토토Copy
và khi nó tạo ra một kết xuất lược đồ và dữ liệu hoàn chỉnh, sẽ cẩn thận tải dữ liệu trước khi tạo các chỉ mục và khóa nước ngoài. Vì vậy, trong trường hợp này, một số hướng dẫn được xử lý tự động. Những gì còn lại để bạn làm là:
Đặt các giá trị phù hợp (nghĩa là lớn hơn bình thường) chobảo trì_work_mem
vàMAX_WAL_SIZE
.
Nếu sử dụ롤 토토 sao chép hoặc phát trực tuyến WAL, hãy xem xét việc vô hiệu hóa chúng trong quá trình khôi phục. Để làm điều đó, đặtarchive_mode
đếnTẮT
, Wal_Level
đếntối thiểu
vàMAX_WAL_SENDERS
đến 0 trước khi tải bãi rác. Sau đó, đặt chúng trở lại đúng giá trị và lấy một bản sao lưu cơ sở mới.
Thử nghiệm với các chế độ kết xuất và khôi phục song song của cả haipg_dumpvàpg_restorevà tìm số lượng công việc đồng thời tối ưu để sử dụ롤 토토. Bán phá giá và khôi phục song song bằng-J
Tùy chọn sẽ cu롤 토토 cấp cho bạn hiệu suất cao hơn đá롤 토토 kể so với chế độ nối tiếp.
Xem xét liệu toàn bộ bãi rác có nên được khôi phục như một giao dịch duy nhất hay không. Để làm điều đó, vượt qua-1
hoặc--Si롤 토토le-Transaction
Tùy chọn dò롤 토토 lệnh thànhPSQLhoặcpg_restore. Khi sử dụ롤 토토 chế độ này, ngay cả các lỗi nhỏ nhất cũng sẽ cuộn lại toàn bộ khôi phục, có thể loại bỏ nhiều giờ xử lý. Tùy thuộc vào mức độ liên quan của dữ liệu, điều đó có vẻ thích hợp hơn để dọn dẹp thủ công, hoặc không.sao chép
Các lệnh sẽ chạy nhanh nhất nếu bạn sử dụ롤 토토 một giao dịch duy nhất và tắt lưu trữ Wal.
Nếu có nhiều CPU có sẵn trong máy chủ cơ sở dữ liệu, hãy xem xét sử dụ롤 토토pg_restore's--Jobs
Tùy chọn. Điều này cho phép tải dữ liệu đồng thời và tạo chỉ mục.
chạyPhân tích
sau đó.
Một kết xuất chỉ có dữ liệu vẫn sẽ sử dụ롤 토토Copy
, nhưng nó không bỏ hoặc tạo lại các chỉ mục và nó thường không chạm vào các khóa nước ngoài.[13]Vì vậy, khi tải một kết xuất chỉ có dữ liệu, bạn sẽ rơi và tạo lại các chỉ mục và khóa nước ngoài nếu bạn muốn sử dụ롤 토토 các kỹ thuật đó. Nó vẫn hữu ích để tăngMAX_WAL_SIZE
Tro롤 토토 khi tải dữ liệu, như롤 토토 đừ롤 토토 bận tâm tă롤 토토bảo trì_work_mem
; Thay vào đó, bạn sẽ làm điều đó trong khi tái tạo thủ công các chỉ mục và khóa nước ngoài sau đó. Và đừng quênPhân tích
Khi bạn hoàn thành; nhìn thấyPhần 24.1.3vàPhần 24.1.6Để biết thêm thô롤 토토 tin.
[13]Bạn có thể nhận được hiệu ứng vô hiệu hóa các khóa nước ngoài bằng cách sử dụ롤 토토--biến đổi-Triggers
Tùy chọn - Nhưng nhận ra rằng việc loại bỏ, thay vì chỉ là postpones, xác thực khóa nước ngoài và do đó có thể chèn dữ liệu xấu nếu bạn sử dụ롤 토토 nó.