Aan het begin van zijn toespraak in de Bundestag leidde Herzog een gebed ter herdenking van de moord op zes miljoen Joden tijdens de Holocaust.
"Ik breng geen vergeving en geen vergetelheid," zei hij tijdens een toespraak die een staande ovatie kreeg van de Duitse wetgevers.
"Alleen de doden hebben het recht om te vergeven. Terwijl de levenden niet het recht hebben om te vergeten," zei hij, waarbij hij opmerkingen citeerde die 35 jaar geleden door zijn vader Chaim Herzog - toen ook president - gemaakt werden tijdens het eerste bezoek van een Israëlisch staatshoofd aan Duitsland.
De reis van deze week lijkt een vorige maand verstoorde relatie te hebben gladgestreken toen de Palestijnse president Mahmoud Abbas, op een nieuwsconferentie in Berlijn, Israël beschuldigde van het begaan van "50 Holocausts".
De Duitse Bondskanselier Olaf Scholz, die toen naast Abbas stond, kreeg kritiek te verduren omdat hij de opmerkingen niet onmiddellijk weerlegde.
Na zijn toespraak op dinsdag nam Herzog samen met de Duitse president Frank-Walter Steinmeier deel aan een kransleggingsceremonie bij het gedenkteken voor de vermoorde Joden van Europa, op enkele meters afstand van de Bundestag.
Later op dinsdag zullen Herzog en Steinmeier een bezoek brengen aan het concentratiekamp Bergen-Belsen, dat de vader van Herzog aan het einde van de Tweede Wereldoorlog als Brits soldaat hielp bevrijden en dat hij tijdens zijn historische reis in 1987 bezocht.
Maandag ontmoette Herzog Scholz alvorens naar Beieren te gaan, waar hij samen met Steinmeier de 50e verjaardag herdacht van de aanslagen op de Olympische Spelen van München in 1972 door Palestijnse militanten, waarbij 11 Israëlische atleten en teamleden werden gedood.
Steinmeier verontschuldigde zich voor de fouten die tijdens en na de aanslagen gemaakt waren en vroeg om vergeving.
In de aanloop naar de ceremonie zei Duitsland dat het met de families van de vermoorde Israëlische atleten overeenstemming had bereikt over een compensatieaanbod van in totaal 28 miljoen euro (28 miljoen dollar).
