De Shiba-inu is waarschijnlijk het oudste inheemse ras van Japan.
Gevonden skeletten van kleine honden met een gekrulde staart dateren uit het stenen tijdperk. Primitieve tekeningen en inkervingen laten zien dat op een Shiba lijkende hond bestaan heeft in de derde eeuw voor Christus. Tweemaal gedurende zijn lange geschiedenis dreigde de Shiba uit te sterven. Eenmaal als gevolg van de Tweede Wereldoorlog, toen al de Japanse rassen werden gedecimeerd.
De tweede maal in 1959 tijdens een verwoestende en aanhoudende epidemie.
De huidige Shiba's zijn het resultaat van een zorgvuldig beleid met honden uit verschillende regio's. Van vele lijnen waren slechts nog maar een paar honden overgebleven. Daarom werden vanuit andere gebieden honden met elkaar samengebracht, voor herstel en behoud van de kwaliteit.
Hierdoor is er tegenwoordig een verscheidenheid in type van de Shiba ontstaan.
De jagende Shiba's van de bergachtige gebieden hebben meer bone en zijn grover in hun verschijning. Van andere gebieden komen meer de tengere en wat elegantere Shiba's. Ook de kleur verschilt van regio tot regio. Gedurende de jaren '30 kwamen de top Shiba's van de Yamanashi en San-in gebieden. Tijdens de Tweede Wereldoorlog kwamen de beste honden van de Shin-Shu gebieden. Hoewel de Shin-Shu Shiba van tegenwoordig verschilt van de Shin-Shu Shiba van voor de oorlog.
Dit is het gevolg van het feit dat de paar overgebleven Shin-Shu Shiba's zorgvuldig werden gefokt met Shiba's van Yamanashi en San-in gebieden.
Zodoende werd daardoor het type Shin-Shu behouden. De Shin-Shu Shiba komt van de provincie "Nagano", welke voor lange tijd het belangrijkste gebied voor het ras is geweest. Dat is waarschijnlijk de reden waarom in de meeste verhalen dit gebied wordt aangeduid als de plaats van oorsprong van de Shiba-inu. Hoewel er ook andere gebieden zijn met grote aantallen Shiba's.

De Mino Shiba is gelijk aan de Shin-Shu lijn. Het was de Shin-Shu Shiba die de Mino Shiba van uitsterven behoedde. De Yamanashi en San-in Shiba's werden beide teruggehaald van de bergachtige gebieden naar de meer bewoonde gebieden. De zwarte gekleurde Yamanashi en de rode San-in waren beide zwaarder en grover in bone, omdat ze voornamelijk werden gebruikt als jagende honden.
De San-in Shiba heeft bijgedragen aan een langzame ontwikkeling naar volwassenheid van de hedendaagse Shiba's. Zij bereiken hun topvorm bij een driejarige leeftijd. Hoe ouder ze worden, des te beter zien ze eruit!
De Shin-Shu en de Mino lijnen komen ook uit bergachtige gebieden, maar deze zijn smaller en lichter. Hoewel ze niet zo fors zijn als de andere Shiba
lijnen, zijn ze toch erg krachtig, met een snelheid en wendbaarheid die ze uitzonderlijk maakt.
Zij zijn buitengewoon met kleine jaagspelletjes , bijna onvermoeibaar en zijn zeer trouw aan hun baas.
De Mino Shiba wordt wel beschouwd als het type dat de ideale vachtkleur voor de Shiba bezit: een donker, brandend rood.
Er wordt gezegd dat deze kleur ( die uniek voor de Mino lijn is ) uitdrukking geeft aan de moed van de hond.
Al deze lijnen zijn in verschillende mate met elkaar gekruist, waardoor een hond is ontstaan met een hoge intelligentie, een alerte uitdrukking, een aantrekkelijke verschijning en met een sterke onvermoeibare beweging.
De meest belangrijke erkenning van de Shiba-inu in Japan was in 1936, toen het ras de erkenning van Nationaal erfgoed kreeg toegewezen.