De Nikkei eindigde de dag 0,08% lager op 39.208,03. De benchmark noteerde een intraday recordpiek van 39.426,29 in de vorige sessie en een hoogste slotstand aller tijden van 39.239,52.
Over het geheel genomen was de markt vrij gemengd, met dalers die de stijgers overtroffen met slechts 120 tegen 104, en één aandeel dat vlak bleef.
Twee zwaargewichten, Uniqlo-exploitant Fast Retailing en startupinvesteerder SoftBank Group, verloren samen 45 indexpunten en overtroffen daarmee de daling van 32 punten voor de Nikkei als geheel.
Ondertussen viel e-commerce- en gamingbedrijf DeNA op met een stijging van meer dan 24% na het nieuws dat het een nieuw mobiel spel op basis van de Pokemon-handelskaarten zou aanbieden.
De bredere Topix daalde met 0,13.
Een maatstaf voor het momentum, de relatieve sterkte-index (RSI), stond woensdag rond 78 voor de Nikkei en bleef daarmee sinds 13 februari elke sessie boven de 70-lijn, die duidt op een overgekochte markt.
"Gezien de snelheid van de rally vertoont de markt tekenen van oververhitting, dus een terugslag is gemakkelijk voor te stellen," zei Maki Sawada, een aandelenstrateeg bij Nomura Securities.
"De dalingen van vandaag worden niet gedreven door bepaald slecht nieuws, dus de omvang van een eventuele terugtrekking zal waarschijnlijk beperkt zijn."
Onder de 33 industriële sectoren van de Tokyo Stock Exchange voerden elektriciteit en gas de stijgers aan met een stijging van meer dan 3%, gevolgd door een winst van 2,55% voor papier en pulp.
Aan de andere kant was de zogenaamde diverse producten index, waaronder sportartikelen merk Mizuno en Mitsubishi Pencil, de slechtst presterende met een daling van 1%. (Verslaggeving door Kevin Buckland; Bewerking door Subhranshu Sahu en Janane Venkatraman)