Grondstoffenaandelen leidden de dalingen nadat de ruwe-olieprijzen daalden na pieken van 10 maanden, terwijl verladers en andere aandelen met hogere dividenden het beter bleven doen.
De Topix daalde met 0,37% naar 2.421,23 vanaf 0151 GMT, na de top van vrijdag op 2.438,02, een niveau dat voor het laatst werd gezien in het begin van 1990.
De Nikkei verloor woensdag 0,12% tot 3.3202,55. De koers bereikte vrijdag voor het eerst sinds 3 juli 33.634,31.
Handelaren zijn er zo goed als zeker van dat de Fed de rente zal aanhouden wanneer de vergadering later op de dag wordt afgesloten, waardoor de focus komt te liggen op de forward guidance van de Amerikaanse centrale bank. Volgens de CME FedWatch tool geven futuresmarkten momenteel 40% kans op een verdere verhoging met een kwart punt dit jaar.
De Bank of Japan zal vrijdag na afloop van een tweedaagse beleidsvergadering haar beleidsbeslissing bekendmaken.
Hoewel de Nikkei waarschijnlijk in een vrij smalle bandbreedte zal handelen in de aanloop naar het Fed-besluit, zullen beleggers de Amerikaanse rente nauwlettend in de gaten houden, aldus Kazuo Kamitani, strateeg bij Nomura Securities.
Een stijging van de rente zou op de Nikkei kunnen drukken, hoewel de 33.000-lijn zou moeten standhouden, zei hij.
In de tussentijd zullen beleggers de voorkeur blijven geven aan aandelen met hoge dividenden, die eind deze maand worden uitgekeerd, voegde Kamitani eraan toe.
De scheepvaart was de best presterende onder de 33 industriegroepen van de Tokyo Stock Exchange, met een stijging van 0,55%.
Raffinaderijen daalden 2,63% en mijnbouwers tuimelden 3,08%.
"Een piek in de prijzen voor ruwe olie is waarschijnlijk nabij," zei Kamitani.
Onder de individuele aandelen waren de opvallendste dalers de materialenproducent Teijin en de geneesmiddelenproducent Sumitomo Pharma, die elk ongeveer 3,4% verloren en onderaan de Nikkei-ranglijst terechtkwamen.
Van de 225 componenten van de Nikkei daalden er 133, tegenover 90 die stegen, waarbij er twee vlak handelden.
