Széchenyi Zsigmond könyvtára a legjelentősebb hazai vadászati könyvgyűjtemény. Nemcsak Magyarországon számít különlegesnek, hanem világviszonylatban is az. Kötetei magyar, német, angol és francia nyelven íródtak, a német kötetek alkotják a gyűjtemény legértékesebb részét.
Széchenyi Zsigmond igazi gyűjtő lévén már kora ifjúságától kezdve gyűjtötte – sokféle trófeája és vadászemléke mellett – a könyveket is. A II. világháború és az 1951-es kitelepítés következtében könyvein kívül csaknem minden gyűjteménye megsemmisült. Így könyvgyűjteménye lett a gyűjtemény, az író-vadász életének egyik meghatározója, amelyet minden nehézsége dacára – felesége, Hertelendy Margit támogatásával – gyarapítani igyekezett. S ez a törekvés mindinkább felerősödött mellőztetésének enyhülésekor, mikor könyvei már ismét megjelenhettek. 1967-ben bekövetkező halálakor a könyvtár már több mint 3000 kötetet számlált.
Széchenyi Zsigmond szándéka, vágya az volt, hogy összegyűjtött vadászkönyvei halála után a közösség számára elérhetővé váljanak, s folyamatos gyarapítás mellett a könyvgyűjtemény mind a szépirodalom, mind a szakirodalom területén kiteljesedjék. Az író halála után özvegyétől a Magyar Művelődési Minisztérium megvásárolta a Magyar Természettudományi Múzeum számára. Ezután még pár száz kötettel bővült a könyvtár, részben Széchenyi Zsigmondné ajándékaiból, aki férje halála után is kezelője, gondozója maradt a gyűjteménynek.
A könyvtár kezdetben az író Tóth Lőrinc utcai lakásán volt látogatható, 1977-ben költözött a Magyar Természettudományi Múzeum Baross utcai központjába. Közel tíz év után a Magyar Nemzeti Múzeum épületében került elhelyezésre a gyűjtemény – akkor még a Magyar Természettudományi Múzeum egyes részlegei is ott működtek. A kilencvenes években úgy tűnt, hogy a múzeum összes gyűjteménye végleges elhelyezést nyer a volt Ludovika Akadémia épületében. A Széchenyi Zsigmond Vadászati Könyvtárnak is ebben az épületben alakították ki helyét, ahova 1997-ben költözött.
A gyűjteményben ritka köteteket találhatunk: pl. XVII-XVIII. századi, német nyelvű vadászati szakkönyveket, a XIX. századi magyar nyelvű vadászati szakirodalom korai műveit. A magyar vadászirodalom jelentős, XIX. század végi, XX. század eleji műveinek nagy része fellelhető a gyűjteményben. Régi és újabb útleírások mellett (pl. Andrásy Manó, Széchenyi Béla, Almásy László) olvashatók a kortársainak és sokszor barátainak szépirodalmi munkái: pl. Bársony István, Fekete István, Kittenberger Kálmán könyvei. A humoros, baráti, esetenként élesen kritikus dedikálásokat olvasva a látogató közelebb kerülhet a művelt íróhoz, a gyakorlott vadászhoz, Széchenyi Zsigmondhoz.
