En 1929 se estableció una agencia ampliada en forma de una asociación entre la OS y agrupaciones públicas judías no sionistas. En la conferencia de fundación en Zurich en 1929, la mitad de los delegados eran representantes de la OS y la otra mitad representaba a las organizaciones no sionistas. El Dr. Jaim Weizmann, presidente de la OS, fue elegido presidente de la recién fundada Agencia Judía.

    La Agencia Judía era considerada como un instrumento para la participación de todo el pueblo judío en la construcción del país. También se tenía la esperanza de que la inclusión de las organizaciones no sionistas aumentaría los recursos financieros disponibles para el movimiento sionista, algo que no ocurrió, en parte debido a la crisis económica mundial de 1929. El principio de la representación equitativa en el liderazgo de la Agencia Judía también fue violado gradualmente. Al cabo de algunos años, el Ejecutivo de la Agencia Judía llegó a ser el mismo de la Organización Sionista.

    En el período previo al estado, la Agencia Judía fue un "pseudo-gobierno" que se encargó de organizar la inmigración - incluyendo la inmigración ilegal - y la absorción de los inmigrantes en Palestina. La Agencia Judía fundó la Aliá Juvenil, mantuvo departamentos de trabajo, asentamiento e industria, y fue uno de los principales participantes en la creación de las fuerzas de defensa del yishuv y los asentamientos de empalizada y torre de vigilancia. David Ben Gurión sirvió como presidente del Ejecutivo de la Agencia Judía desde 1935 hasta 1948, mientras que Moshé Shertok (más tarde Sharet) encabezó el Departamento Político.

    Los objetivos de la OS y la Agencia Judía no cambiaron después del establecimiento del Estado de Israel, cuando su status fue redefinido. El 24 de noviembre de 1952, la Knéset aprobó la "Ley Organización Sionista - Agencia Judía para Israel", y más tarde el gobierno de Israel y el Ejecutivo Sionista firmaron un convenio según el cual las principales áreas de responsabilidad de las organizaciones siguieron siendo aquellas relacionadas con la aliá, la absorción de inmigrantes y el asentamiento.

    En agosto de 1970, se firmó un acuerdo para modificar la estructura y las funciones de la Agencia Judía y la OSM. La mitad de los miembros de la Asamblea de la Agencia Judía ampliada son representantes de la OSM; un 30 por ciento representan la UJA (EE.UU); un 20 por ciento representan las organizaciones afiliadas al Keren Hayesod y el resto del mundo. Con respecto a la inmigración, se estableció la siguiente división: la Agencia Judía se encargaría de la inmigración de los países donde hay persecución y la OSM de la inmigración procedente de los países pudientes. La Agencia Judía y la OSM firmaron dos nuevos convenios con el Gobierno de Israel en junio de 1979. La Agencia Judía retuvo su responsabilidad sobre la absorción inicial de los inmigrantes en Israel; el apoyo a las actividades educativas y el trabajo con la juventud; la absorción de inmigrantes en asentamientos rurales; la vivienda para los inmigrantes; y los servicios de bienestar social. La OSM se centró en el trabajo en la diáspora y todo lo relacionado con los judíos en la diáspora; la educación judía, el trabajo con la juventud, etc.