Nadat het Noordzeekanaal was aangelegd, trokken de scheepvaart gerelateerde handel en industrie sterk aan en breidde het aantal havens, dokken en aanlegkades aan het IJ flink uit. Om de produkten uit overzeese gebieden te kunnen op- en overslaan, werden nieuwe pakhuizen gebouwd. Pakhuis Het Veem was er één van. Het werd ontworpen door Foeke Kuipers en opgeleverd in 1898, het kroningsjaar van Wilhelmina. Daarom werd het gebouw ‘Oranje Nassau Veem’ genoemd.
Het Veem werd gebouwd voor de overslag van luxegoederen uit de koloniën. Zakken vol koffie, thee, tabak en cacao werden vanaf de waterzijde het pakhuis in gedragen en opgeslagen op de enorme zoldervloeren. Op de derde verdieping konden kopers de koffie proeven in een kleine caféruimte. De bonen werden in een naastliggende ruimte gebrand. Na verkoop werden de goederen aan de voorkant het pakhuis uitgedragen om via het spoor aan voorzijde van Het Veem, verder het land in te worden vervoerd.
In 1981 lag het pakhuis er verlaten bij. Het erfpachtcontract van eigenaar Pakhoed liep af en hij was verplicht het pand te slopen. Om die reden kon hij geen gehoor geven aan het verzoek van vier mensen die één verdieping in het Veem wilden huren voor Bewegings Theater Amsterdam (BEWT). In plaats daarvan gaf hij hun de sleutel waardoor het mogelijk werd het pand snel te kraken zonder schade of geweld. Uiteindelijk zou het pakhuis voor één symbolische gulden worden gekocht door de inmiddels opgerichte vereniging Het Veem.
Architect Jaap ten Baars behoorde tot die groep van vier. Hij spande rood/witte linten in de gigantische, lege ruimtes waarmee hij de te bouwen muren voor de gangen aangaf. De rest van de indeling werd bepaald door de toekomstige gebruikers van het pakhuis. De eerste voorzieningen zoals gasleidingen, elektra en sanitair werden uit eigen middelen en op eigen kracht aangelegd. In 1989 begon de grote verbouwing waarvoor de overheid een subsidie van 1,5 miljoen gulden gaf en de gemeente een subsidie van 2 ton. Met een lening van 1,1 miljoen gulden en de zelfwerkzaamheid van de Veemers werd het mogelijk de nodige externe hulp en expertise in te huren om het pand aan te passen aan de eisen van de tijd en de nieuwe functie.
Hoewel er in het verloop der jaren een aantal zaken zijn veranderd, is er ook veel hetzelfde gebleven. Zelfbestuur en vrijwilligheid behoren ook heden ten dage nog tot de grondbeginselen van Het Veem. De oorspronkelijke indeling van het pakhuis is nog hetzelfde en de huurprijzen van de veelsoortige werkruimtes zijn nog immer gestoeld op het principe geen huurdifferentiatie toe te passen.
Sinds 2003 heeft het Veem een monumentenstatus. Het gele deel van het voormalig pakhuis is een rijksmonument, het rode deel een gemeentelijk monument. In 2017 is de erfpachtconversie overgegaan naar een zogenaamde eeuwigdurende status, zodat het gebouw met de huidige functionaliteit voor de toekomst bewaard is. Het is een uniek gebouw in de stad met zeer gewilde werkruimtes. Ondanks het feit dat aan het (spaarzaam) vrijkomen van een ruimte weinig ruchtbaarheid wordt gegeven, zijn de aanmeldingen steevast enorm.
