En 1920 se formó la Haganah, como una organización militar "popular", considerada ilegal desde el punto de vista británico, pero vista por sus fundadores, quienes también fueron los fundadores de la Histadrut (Federación General de Trabajadores Judíos) como una fuerza armada nacional subordinada a un liderazgo político electo y autorizada a emplear su potencial militar en la defensa de los intereses del pueblo judío. Durante sus primeros diez años, la Haganah estuvo subordinada a las instituciones públicas electas de la Histadrut, dado que las instituciones públicas electas de la Organización Sionista y del yishuv aún no estaban preparadas para aceptar la responsabilidad por esta entidad militar ilegal.

    Como consecuencia de los disturbios de 1929, y después de dos años de discusiones entre los líderes de los partidos sionistas de todo el espectro político, la Haganah fue transferida a la autoridad conjunta del Ejecutivo de la Agencia Judía y del Vaad Leumí (Consejo Nacional). En 1931, la Haganah fue colocada bajo la autoridad de un comité paritario, un Alto Comando compuesto por seis figuras políticas - tres en representación de la "izquierda" (entre ellos Eliahu Golomb y Dov Hoz) y tres en representación de la derecha (entre ellos Saadia Shoshani e Isasjar Sidkov). Así la Haganah pasó a ser una organización militar nacional, subordinada al liderazgo nacional electo. A pesar de que los británicos, al igual que los árabes, consideraban a la Haganah ilegal, el yishuv la consideraba como una organización militar popular legítima. Cada asentamiento rural - moshavá, moshav, kibutz - y cada ciudad o barrio judío estaba afiliado en la Haganah, y la identidad del comandante del distrito era conocida para la mayoría de los habitantes.

    En 1931 un grupo de miembros de la Haganah se escindió de la organización, negándose a aceptar la autoridad del comité paritario. Poco después, a partir de 1932, el grupo escindido, encabezado por Abraham Tehomi, pasó a ser conocido como la Organización Militar Nacional (Irgún Tzevaí Leumí) o por su acrónimo, Etzel. Esta organización recibió todo el respaldo del partido revisionista de Zeev Jabotinsky y apoyo parcial de las facciones de los Sionistas Generales y de Mizraji.

    En 1938, el Ejecutivo de la Agencia Judía decidió nombrar un líder nacional de la Haganah, una personalidad no partidista que presidiera el Alto Comando. El primero en ocupar dicha posición fue Yohanan Ratner. Unos dieciocho meses más tarde, en septiembre de 1939, después de un amplio debate del Alto Comando y los entes políticos a los que estaba subordinado; el Ejecutivo de la Agencia Judía y el Consejo Nacional; se decidió nombrar un Estado Mayor Militar profesional que comandara todos los componentes militares y las operaciones de los diversos entes de la Haganah. El Estado Mayor funcionó bajo la autoridad del Alto Comando; el primer Jefe del estado Mayor fue Yaakov Dori (Dostrovsky).

    El Etzel sufrió una crisis durante el primer año de los "disturbios" árabes. En abril de 1937 la mitad de sus miembros (alrededor de 1.500) dirigidos personalmente por Abraham Tehomi, lo abandonaron y regresaron a la Haganah. La otra mitad continuó en el Etzel, que ahora respondía a la autoridad política de la Organización Sionista Revisionista dirigida por Zeev Jabotinsky. El Etzel rechazó la política moderada de la Haganah contra los árabes, la doctrina llamada de "contención" (havlagá) del liderazgo sionista electo, y adoptó una política de intimidación y terror.

    La rebelión árabe fue sofocada en los años 1938-1939 por las fuerzas británicas en cooperación con la Haganah, que movilizó más de 20.000 policías suplementarios judíos más las Tropas de Campaña de Itzjak Sadé y las Escuadras Nocturnas Especiales del capitán Orde Wingate.