Levi Shkolnik voksede op i Ukraine, hvor hans mor havde en Hasidic-baggrund, mens hans far kom fra en Mitnagdim-familie. Levi gennemgik en traditional uddannelse og som 19-årig rejste han i 1914 til Palæstina, dengang en del af det Osmanniske Rige. Levi tilsluttede sig hurtigt derefter den britiske hærs jødiske legion, der under første verdenskrig kæmpede mod det Osmanniske Rige i bl.a. Palæstinaregionen.
Efter etablering af staten Israel, blev Eshkol indvalgt i det israelske parlament Knesset i 1951 som medlem af partiet Mapai. Han var landbrugsminister indtil 1952, hvor han blev udpeget til finansminister og efterfølger for den netop afdøde Eliezer Kaplan. Eshkol opretholdt sin post som finansminister gennem de efterfølgende 12 år, hvor han etablerede sig som et af Mapei-partiets bærende medlemmer, og han blev udpeget af premierminister David Ben-Gurion som hans efterfølger som regeringsleder.
