De term "Zwarte Toren" duikt voor het eerst op in geschreven bronnen in 1566 en verwijst naar de eerdere zwarte kleur, die ook werd vernieuwd tijdens renovaties. Rond 1571 werd de toren verhoogd met twee verdiepingen met gotische trapvensters. Boven de twee verdiepingen met ramen werd het gebouw begrensd door een externe rij kantelen, die vandaag de dag nog steeds duidelijk zichtbaar zijn. Aan het begin van de 18e eeuw werd de rij kantelen gesloten en werd het schilddak toegevoegd.
De portier en zijn gezin woonden op de eerste verdieping van de poort. Boven hen werden gevangeniscellen gebouwd op het niveau van de tweede raamverdieping. De torenwachter en zijn vrouw waren verantwoordelijk voor de verzorging van de gevangenen. In een latere verbouwingsfase, ongeveer 200 jaar geleden, werden er ook cellen geïnstalleerd op de derde verdieping ter hoogte van de kantelen.
De eiken celdeur op de 2e raamverdieping getuigt van het lot van Christian Schlenker de "Schafbijbel" uit Schwenningen. Hij werd gevangen gezet voor kleine overtredingen, huurschulden en andere schulden die hij niet kon afbetalen. Hij vereeuwigde zichzelf door zijn naam en beroep in te kerven. Er is ook te lezen dat hij in 1847 1004 dagen gevangen heeft gezeten. Een ruiter op een paard en een afbeelding van een kerk maken deel uit van het beeldhouwwerk.
In 1714 werd de ongetrouwde Katharina Päurin uit de Oude Stad gevangen gezet in de Zwarte Poort. Ze werd beschuldigd van kindermoord. Het verhoorprotocol is bewaard gebleven in het stadsarchief. Ze werd schuldig bevonden en samen met haar moeder veroordeeld tot de dood door het zwaard. Op weg naar de executieplaats door de zwarte poort werd de veroordeelde door de "arm zondaarsklok" in de klokkentoren geluid.
Twee gevangen vrouwen, die blijkbaar betrokken waren bij de moord op een boer, schreeuwden en tierden in hun cel zo erg dat de stedelingen zich gestoord voelden door het lawaai. De magistraat droeg de badmeester op om hen een goed bad te geven zodat ze weer rustig zouden worden.
Ongeveer 100 jaar geleden, toen al het verkeer door de poort ging, werd de noordelijke doorgang gemaakt voor voetgangers. De zuidelijke doorgang met etalages werd pas in de jaren 1960 gemaakt door de apotheker Tiberius Neher.
De Württemberg-periode maakte bijna een einde aan de poort, want in mei 1869 meldde de Schwarzwälder Bürgerzeitung op de voorpagina: "Naar verluidt zal de Zwarte Poort ... in de nabije toekomst worden afgebroken. Het heeft geen monumentale waarde en is architectonisch ook niet mooi". Dit idee werd echter ingetrokken uit angst voor de statica van de naburige huizen.
De Zwarte Poort staat er vandaag de dag nog steeds en is het startpunt van de carnavalsoptocht op Rottweils grootste feestdag, Fasnet.
