Sedmdesát dva let po pojmenování ostrova si Skálu, jak se jí dodnes přezdívá, vybrala americká armáda. Pracně vybudovaná pevnost s prvním majákem na západním pobřeží byla symbolem vojenské síly nové země. Masivní děla byla schopná potopit nejmodernější válečné lodě té doby na vzdálenost pěti kilometrů. Armádní vývoj však podobným pevnostem brzy odzvonil a v roce 1861 se na Alcatraz začali stěhovat první vězni z války Severu proti Jihu, první civilní vězni se sem dostali v roce 1906. Od samého počátku byl Alcatraz obklopen závojem tajemství. Šéf věznice novinářům nepřál, takže většina historek byla vymyšlená. Vězni navíc nebyli nikdy propuštěni přímo z Alcatrazu, ale byli několik let před vypršením trestu převezeni do jiné věznice, takže novináři měli přístup k informacím dost obtížný. Teprve mnohem později se na veřejnost dostaly detailnější zprávy. Dny zde byly vyplněny vyzváněním zvonů, pískotem píšťalek, klapáním okovaných bot, rachotem zavíraných dveří cel a neustálým hučením strojů z dílen. Život na Alcatrazu byl dokonalou choreografií příkazů a zákazů, jejichž list visel v každé cele. Všechno bylo založeno na rutině, která se po celou dobu existence věznice nezměnila. Pokud byla vězni přidělena nějaká práce, pracoval s krátkými přestávkami od půl osmé do čtvrt na pět, v půl desáté byla večerka. O bezpečnost strážců bylo postaráno opravdu důkladně, na každé tři vězně zde byl ve službě jeden strážce, což bylo čtyřikrát víc než v kterékoliv jiné věznici. Život na Skále znamenal, že se čas zastavil, většina vězňů si zde odpykávala doživotní tresty, jen ti šťastnější byli odsouzeni na desítky let. Alcatraz nebyl ani tak určený jako vězení pro nejtěžší kriminálníky, jako spíše coby jakási vězeňská polepšovna pro ty, kteří se odmítali podřídit podmínk