Hermann Rhein wurde in Regensburg geboren, sein Vater verstarb früh. Schon als Kind unterstützte der junge Hermann seine Mutter: er trug Bücher und Zeitungen aus. Lesen war schon immer seine Hauptbeschäftigung; ein Studium scheiterte aus finanziellen Gründen. Er wurde Buchhändler; Lehrzeit in Würzburg, Gehilfenzeit in Nürnberg, Lübeck und Göttingen. Doch er wollte selbständig sein. 1933 bot sich ihm die Gelegenheit, die Bartholdische Buchhandlung in Wismar zu kaufen. 1936 erwarb er die Hinstorffsche Hofbuchhandlung in der Lübschenstraße, wo auch heute noch die »Buchhandlung Hermann Rhein Nachf.« ihren Sitz hat. Bis 1972 war er hier selbständig tätig — dann wurde seine Buchhandlung dem Volksbuchhandel angeschlossen, und er zog sich nach Parchim zu seiner letzten Lebensgefährtin, Lotte geb. Kunkel, zurück. In Parchim betrieben sie gemeinsam eine Buchhandlung, doch bald gingen beide nach Wismar zurück, wo er als Antiquar in seinem Hause in der Dr.-Liebenthal-Straße noch eifrig wirkte.
Seine Verdienste um die Stadt Wismar sind unvergessen. Er war es, der 1945 die Stadt-Archivalien, die im Kriege ausgelagert waren, wieder nach Wismar zurückholte. Er war es, der das Stadt-Archiv wieder aufbaute und bis zu seinem Tode helfend und beratend tätig war. Er hat noch viel über »seine« Stadt Wismar schreiben können.