Thư viện tỉnh Hải Dương được thành lập từ tháng 12 năm 1956, với nhiệm vụ thu thập, tàng trữ và phổ biến văn hoá phẩm phục vụ cho công việc chấn hưng văn hoá dân tộc, xây dựng miền Bắc xã hội chủ nghĩa. Trụ sở ban đầu được bố trí tại ngã 5 trung tâm thị xã Hải Dương (nay là Ngân hàng Công Thương). Khi mới thành lập, chỉ có 2 cán bộ và vốn sách ban đầu có gần 2.000 cuốn, chủ yếu do nhân dân quyên góp.​
     Năm 1958, Thư viện tỉnh chuyển về số 12 Nguyễn Du, trước là trụ sở Câu lạc bộ Dance của người Pháp, gồm 2 d ãy nhà cấp 4.
     Năm 1968, Thư viện tỉnh Hải Dương sáp nhập với Thư viện tỉnh Hưng Yên thành Thư viện tỉnh Hải Hưng.
     Năm 1971, đổi tên thành Thư viện Khoa học Tổng hợp Hải Hưng. Khi giặc Mỹ leo thang bắn phá miền Bắc, Thư viện sơ tán về thôn Đông, xã Thanh Tùng, huyện Thanh Miện.
     Năm 1973, Thư viện tỉnh chuyển về địa chỉ số 12 Nguyễn Du, thành phố Hải Dương. Năm 1986, một toà nhà cũ được cải tạo nâng cấp thành 2 tầng. Năm 1990, xây dựng thêm 01 toà nhà 3 tầng với diện tích khoảng 1000m2.
Năm 1997 tỉnh Hải Dương được tái lập, Thư viện Khoa học Tổng hợp Hải Hưng được chia tách thành Thư viện tỉnh Hưng Yên và Thư viện tỉnh Hải Dương.
     Ngày 04/09/2012, Thư viện tỉnh Hải Dương chuyển đến trụ sở mới tại số 1, đường Chương Dương, thành phố Hải Dương. Với diện tích 8.500m2, kiến trúc của trụ sở mới chú trọng tới không gian mở, kho sách thông thoáng, gần gũi với người đọc.
     Trải qua gần 70 năm xây dựng và phát triển, Thư viện tỉnh Hải Dương đã trở thành trung tâm thông tin, văn hóa, giáo dục quan trọng trên địa bàn.
     Đến nay Thư viện tỉnh Hải Dương đã có gần 280.000 bản sách. Hàng năm bổ sung từ 10.000 - 15.000 bản sách, 150 loại báo, tạp chí... Công tác số hóa tài liệu được quan tâm, hiện tại Thư viện tỉnh đã số hóa hơn 140.000 trang tài liệu. Tập trung chủ yếu vào các tài liệu địa chí và một số tài liệu quý hiếm khác Những tư liệu được lưu giữ và phục vụ tại Thư viện tỉnh Hải Dương đã góp phần quan trọng trong việc phục vụ các nhiệm vụ chính trị của tỉnh, tuyên truyền đường lối, chủ trương, chính sách của Đảng và Nhà nước, phục vụ nhu cầu học tập, nâng cao trình độ và giải trí của nhân dân.
     Ngoài những hoạt động tại Thư viện tỉnh, mạng lưới thư viện cơ sở được duy trì và phát triển với 12 thư viện cấp huyện, 35 thư viện cấp xã, 1325 tủ sách cơ sở, 4 thư viện, tủ sách tư nhân và 01 không gian đọc có phục vụ cộng đồng.