В силу островного положения страны и ее географической отдаленности от континента развивалась волнообразно, чередуя периоды особо активного заимствования иностранных традиций и периоды переосмысления накопленных звуковых идей в собственно японские музыкальные явления. Характерно при этом, что новые художественные формы не вытесняли старые, а сосуществовали рядом, в результате чего в современной музыкальной культуре Японии наряду с новейшими звуковыми экспериментами продолжают культивироваться феномены ранних периодов японской истории и музыка средних веков.

Как свидетельствуют археологические находки: ивабуэ (каменные свистульки), цутибуэ (глиняные свистульки) и кин (инструмент, напоминающий цитру), - зарождение древнейших японских музыкальных традиций относится к периоду Дзёмон (10 тыс. - 300 лет до Р.Х.). В руинах эпохи Яёи (300 лет до Р.Х. - 300 лет после Р.Х.) были найдены такие музыкальные инструменты, как дотаку (большие колокола) и судзу (маленькие колокольчики). Эти инструменты использовались в основном в церемониальных и праздничных представлениях. При образовании государства Ямато в период Кофун (III - нач. VI в.) складывается музыкальная практика обрядов синтоизма, а также начинается процесс проникновения музыкальных идей из Китая и Кореи.

Буддийские песнопения сёмё (бонсан - на основе индийских сутр и кансан - на основе их китайских толкований) были ввезены в Японию в эпоху Нара и ранне-Хэйанский период, а в конце эпохи Хэйан появились песнопения васан и косики, в которых были использованы японские слова. Параллельно сложились такие виды музыки как то-гаку (музыка из Китая династии Тан, берущая начало в древней Индии) и кома-гаку (музыка северного Китая и северной Кореи), а также кудара-гаку и сираги-гаку (музыка древней Кореи) и ги-гаку (танцы в масках из Китая периода войны между Севером и Югом). В эпоху Хэйан (794 - 1185 гг.) эти виды музыки синтезировались в особый тип придворной музыки гагаку. Музыкальная теория гагаку легла в основу японской науки о музыке, привнеся с собой специальную терминологию, по сей день используемую в Японии. В это же время сформировались и музыкальные жанры, уникальные для Японии. Сайбара (популярные народные песни, исполняемые под аккомпанемент ввезенных в Японию инструментов) и роэй (речитативная декламация китайских стихов) также стали частью репертуара гагаку. Имаё, другая форма народной песни, получила распространение в средне-Хэйанский период.

В период Камакура (1192-1333) в связи с падением власти аристократии, установлением системы военного правления и выдвижением самурайства классическая японская музыка в значительной мере демократизируется и распространяется по всей стране. Особое значение приобретает традиция странствующих монахов, распевающих буддийские молитвы и песнопения сёмё, а также - в сопровождении лютни бива - героические сказы хэйкёку (разделы из военного эпоса "Хэйкэ-моногатари") В период Асикага (1335-1573) возникает классический музыкальный театр Ноо с целой системой сопровождающих его музыкальных жанров (ногаку). В период Момояма (1573-1615), в связи с деятельностью столичных музыкантов, скрывающихся от гонений нового правительства на о. Кюсю, получили развитие традиции игры на классических японских инструментах: длинной цитре кото, бамбуковой флейте сякухати и лютне сямисэне.

Формированию оригинального репертуара кото положил начало буддийский священник Кэндзюн (1547-1636) своими композициями для голоса и кото, так называемыми куми-ута. Одновременно было сочинено несколько инструментальных композиций в форме, получившей название дан-моно или сирабэ-моно. Огромная заслуга в ее развитии принадлежит Яцухаси Кэнгё (1614-1685), автору знаменитой пьесы "Рокудан-но-сирабэ" ("Пьеса в шести частях"). Сякухати постепенно стала неотъемлемой частью дзэн-буддийской практики, в рамках которой был создан специальный репертуар и стиль игры, получивший название хонкёку. В музыке для сямисэна сформировались жанры нагаута ("длинная песня"), дзиута (музыка, происходящая из области Кансай), хаута (короткая песня) и коута (короткая пьеса, развившаяся из хаута). Постепенно сложился репертуар для классического ансамбля кото, сякухати и сямисэна, называемый санкёку (дословно - "композиция трех"). В это же время сформировались театр марионеток дзёрури и одноименный ему стиль песенного сказа. По имени прославленного сказителя Такэмото Гидайю (1651-1714) стал называться характерный для его творчества сказовый стиль гидайю. Жанр нагаута получил также развитие в связи с танцевальными эпизодами театра кабуки, а гидай-буси - с пьесами кукольного театра бунраку.

В соответствии с изоляционистской политикой военного правления сёгуна эпохи Эдо, иностранная музыка была полностью запрещена более чем на триста лет. После реставрации Мэйдзи в 1868 г. началось освоение западной музыки. К концу 20 в. сложилась мощная композиторская школа западного типа, некоторые представители которой получили международную известность: Рэнтаро Таки (1879-1903), Симпэй Накаяма (1887-1952), Косаку Ямада (1886-1965), Киёси Нобутаки (1887-1965), Такэмицу Тору (1930-1996), Ёсинао Накада (1923-2000), Икума Дан (1924-2001), Минору Мики (р.1930), и др. Параллельное развитие музыки хогаку ("национальная музыка") связано с именами выдающихся композиторов и исполнителей на кото и сямисэне Мияги Митио (Накасуга Кэнгё) (1894-1956), Сакити Кинэя III (1884-1945), Кинити Наканосима (1904-1984) и Тадао Саваи (1937-1997 гг.).