Die Anfänge einer diözesanen Ausbildungsstätte gehen zurück in das letzte Viertel des 19. Jahrhunderts, wo erstmals – im Zuge cäcilianischer Bestrebungen – Instruktionskurse für Organisten und Sänger sowie Choralkurse stattgefunden haben.

Seit 1924 nahm sich Prälat Prof. Pretzenberger der diözesanen Kirchenmusik an. Er gründete am 1. Oktober 1932 eine private Kirchenmusikschule: Eine pneumatische Übungsorgel stand zur Verfügung, der Lehrplan umfasste die Fächer Orgelspiel, Gregorianischer Choral, Allgemeine Musiklehre, Harmonielehre, Kontrapunkt, Formenlehre, Dirigieren, Liturgik und Musikgeschichte. 1935 wurde die Privatschule in die Musikschule des St. Pöltner Gesangs- und Musikvereines eingegliedert. Nach der Eingliederung Österreichs ins Dritte Reich wurde es notwendig, dass die Diözese die bis dahin private Kirchenmusikschule nun in ihre Obhut nahm.

Diese Kirchenmusikschule der Diözese St. Pölten führte die Kurse nach dem bisherigen Lehrplan fort. Die nationalsozialistischen Machthaber hatten vielen – zumeist Lehrern – kirchenmusikalisch Aktiven nahegelegt, ihren Kirchendienst zu beenden. So besuchte also in dieser Zeit in erster Linie „kirchliches Personal“ die Kurse, besonders erstaunlich und bewundernswert sind die Teilnehmerzahlen an Kursen in den Kriegsjahren 1941–43 (328 mit 18 Abschlussprüfungen).
Der prominenteste Schüler war sicherlich der damalige Domkurat und spätere Kardinal DDr. Franz König, der am Kurs vom 14. bis 19. Juli 1941 teilgenommen hatte.
Die letzten Kriegs- und die folgenden Besatzungsjahre erzwangen eine vierjährige Pause.

Mit 1. Jänner 1947 nahm die diözesane Kirchenmusikschule ihren Betrieb wieder auf. In den folgenden Jahren war ein rasanter Aufschwung zu verzeichnen. Unter den beiden hauptamtlichen Lehrern Johann Pretzenberger und Walter Hofmann wurden weitere Übungsorgeln angeschafft, und die Zahl der Kursteilnehmer konnte beträchtlich erhöht werden.

Bis 1957 gab es 80 Wochenkurse mit 801 Teilnehmern und 46 Abschlussprüfungen. Unter den Schülern dieser Periode befanden sich u. a. der spätere Weihbischof Dr. H. Fasching und der spätere Referent für Kirchenmusik Prälat Dr. W. Graf.

1962 übernahm Prälat Dr. W. Graf die Leitung der Kirchenmusikschule. Er erweiterte die Schule räumlich und schaffte neue Übungsorgeln an. Neben Prälat Dr. Graf, Prof. Hofmann und Prälat Pretzenberger unterrichtete auch der spätere Regionalkantor für das Waldviertel Prof. Friedl.

Besonderes Augenmerk galt in dieser Phase der Abhaltung von Kursen in der ersten Woche der Sommerferien, Kurse, die sehr stark frequentiert waren. Immer mehr kristallisierte sich die Notwendigkeit heraus, anstelle des Systems mit sechs Wochenkursen schwerpunktmäßige Orgel-, Theorie- und Chorleitungswochen anzubieten. Allen Bemühungen zum Trotz zeigte jedoch die Statistik, dass das hohe Anfangsinteresse in einer geringen Zahl von Abschlussprüfungen keine Entsprechung fand.
So entstand also die Idee zur Gründung einer Schule mit Ganzjahresunterricht. Prälat Dr. Graf verfasste eine Denkschrift an den Bischof „Über die Notwendigkeit eines Diözesankonservatoriums und ein Vorschlag zur Errichtung desselben“. Er legte darin die statutmäßige Organisation, Vorteile und Risiken dar und übernahm die Verhandlungen mit dem Niederösterreichischen Landesschulrat sowie Aufbau und Leitung des Institutes.