Pirkanmaan musiikkiopisto aloitti toimintansa 6.9.1970 johtajanaan diplomiurkuri Matti Hannula. Opisto on Tampereen NMKY:n ylläpitämä ja opetus tapahtuikin aluksi pääosin Tampereella NMKY:n Puisto-Emmauksen tiloissa Hämeenpuisto 14:ssä.
Toiminta laajeni hyvin pian ympäristökuntiin käsittäen parhaimmillaan parisenkymmentä opetuspistettä kahdeksassa eri kunnassa. Vuosien kuluessa toiminta on keskittynyt, ja tällä hetkellä opiston opetuskuntia ovat Tampereen lisäksi Kangasala, Nokia ja Pirkkala.
Tampereen toimitilana on vuodesta 1984 ollut Eteläpuisto 4:ssä sijaitseva v. 1905 valmistunut jugend-rakennus, joka paikkakunnalla tunnetaan myös historiastaan ruotsalaisten vanhainkotina nimellä "De Gamlas Hem".
Matti Hannulan jälkeen opiston rehtoreina ovat toimineet Väinö Lehto, Vesa Ruotonen ja Liisa Valkama sekä pitkäaikaisimpana Markku Kojo 1985-2009.
Vuosien saatossa opistosta on kehittynyt monipuolinen yhtye- ja orkesteritoimintaan keskittynyt oppilaitos, jossa opiskelee n. 800 oppilasta 55 opettajan johdolla.
Pirkanmaan musiikkiopisto käynnisti toimintansa nimellä Tampereen NMKY:n Musiikkiopisto. Tällöin kaupungissa toimi jo Tampereen Musiikkiopisto eli nykyinen Tampereen konservatorio. Kasvavan kaupungin tarpeisiin toinen musiikkiopisto oli toivottu ja jo ensimmäisenä vuonna oppilasmäärä oli yli 700.
”Kun Tampereen NMKY:n Musiikkiopisto v. 1970 perustettiin, oli tärkeimpänä tehtävänämme saattaa eri ikäisiä musiikinharrastajia säännöllisen ja mahdollisimman hyvän opetuksen piiriin. Alusta alkaen olemme myös halunneet varata kyvykkäille oppilaillemme mahdollisuuden suorittaa kurssitutkintoja Sibelius-Akatemian vaatimusten mukaisesti ja näin helpottaa tulevia ammattiopintoja.”
Laadukas musiikinopetus ja taiteen musiikin laajan oppimäärän mukainen musiikkikasvatus on PMO:n perusajatuksena voimassa edelleen.
Ensimmäisenä lukuvuonna 1971-72 suoritettiin yhteensä 134 erilaista kurssitutkintoa, joka oli opiston lyhyen toiminnan huomioiden huomattavan suuri määrä.