Izumiteljem harmonike smatra se Cyrill Demian iz Beča koji harmoniku (u tadašnjem obliku) patentira 1829. godine. Još stariji primjerak izumio je 1822. u Berlinu Christian Friedrich Ludwig Buschmann , a postoji sličan instrument iz 1816. kojeg je izgradio Friedrich Lohner iz Nürnberga. Sve instrumente karakterizira princip stvaranju zvuka strujanjem zraka preko metalnih jezičaka koji se javlja još u staroj Kini kod instrumenta zvanog sheng. Demianova harmonika imala je samo basove, ali kasnije su joj graditelji dodali i visoke tonove pa je naposljetku postala ovo što je i danas – solistički instrument. Danas postoji više vrsta harmonika s ručnim mijehom: klavirska harmonika, harmonika gumbićima (bajan), bandoneon, bas harmonika. Za koncertnu izvedbu češće se upotrebljava harmonika s gumbićima zbog puno većeg opsega što pridodaje lakšu izvedbu virtuoznijih kompozicija. Osim originalnih skladbi, na harmonici se vrlo uspješno izvode orguljske i klavirske skladbe. Danas se jako razlikuje od nekadašnjih početaka, a karakteriziraju je različitosti u gradnji i načinu sviranja. U početku se harmonika najčešće koristila u narodnoj glazbi ali danas se koristi u svim njenim rodovima – podjednako narodnoj, klasičnoj i jazzu. Neki od najpoznatijih skladatelja za harmoniku su Vladislav Zoltarjov, Vječeslav Semjonov, Anatolij Kusjakov, Evgenij Derbenko, Sofia Gubajdulina…, dok se u Hrvatskoj ističu Davor Bobić, Đeni Dekleva-Radaković…
Najpoznatiji virtuozi na harmonici su Aleksandar Skljarov, Mika Vayrynen, Friedrich Lips… Harmoniku nazivaju različito u svakoj zemlji: zove se harmonika u Danskoj, Mađarskoj, Islandu, Hrvatskoj, BiH, Makedoniji, Sloveniji i Srbiji; u Francuskoj je zovu accordéon; u Italiji fisarmonica; u Njemačkoj je akkordeon; u Norveškoj je trekkspill; u Poljskoj je akordeon ili harmonia; u Rusiji je bajan; u Švedskoj je dragspel. na engleskom govornom području (Velika Britanija, SAD) zovu je accordion.