Gruntem, na którym powstała Galeria Wymiany, było łódzkie środowisko neoawangardowe, w dużej mierze skupione wokół Państwowej Wyższej Szkoły Filmowej, Telewizyjnej i Teatralnej, jak również Wyższej Szkoły Plastycznej i odwołujące się do przedwojennych tradycji awangardowych. Właśnie ze szkołą filmową związali się w drugiej połowie lat sześćdziesiątych artyści tworzący wcześniej działającą w Toruniu grupę Zero-61, skoncentrowaną na fotografii, instalacji i teorii sztuki: Wojciech Bruszewski, Józef Robakowski, Antoni Mikołajczyk i Andrzej Różycki. W 1970 r. ta sama grupa, uzupełniona przez Tadeusza Junaka, Zbigniewa Rybczyńskiego, Pawła Kwieka, Kazimierza Bendkowskiego, Ryszarda Waśkę, Marka Koterskiego, Ryszarda Gajewskiego, Ryszarda Lenczewskiego i innych powołała przy szkole filmowej Warsztat Formy Filmowej, zorientowany na badanie struktury i materialności filmu oraz eliminację narracji i malarskości z obrazu filmowego. Oprócz Warsztatu neoawangardowy krąg w Łodzi współtworzyli Jerzy Treliński, Krystyn Zieliński, Ewa Partum, Andrzej Łobodziński, Andrzej Pierzgalski, Zbigniew Dłubak i Zbigniew Warpechowski.
W latach siedemdziesiątych awangardowi artyści zainteresowani nowymi mediami, poezją wizualną i performansem, na które zaczęli ustanawiać prywatne galerie: Jerzy Treliński – Galerię 80x140, Andrzej Pierzgalski – Galerię A4, Ewa Partum – Galerię Adres, Tadeusz Porada, Mirosław Woźnica i Bogna Stawicka – Galerię na Piętrze. Spotkania towarzyskie odbywały się w salonie poety Zdzisława Jaskuły. Alternatywnych artystów często gościł oficjalny Teatr Studyjny. Powstały Stowarzyszenie Twórców Kultury – alternatywne wobec oficjalnego Związku Polskich Artystów Plastyków – prowadzące własną Galerię Ślad. Ukazywały się druki ulotne: manifesty, broszury, książki artystyczne, mail art. Intensywna cyrkulacja korespondencji, podróże łódzkich artystów po Polsce i za granicę oraz międzynarodowe wydarzenia organizowane przez STK składały się na społeczną sieć wymiany idei i artefaktów artystycznych. Kolejnym węzłem tej sieci stała się założona w 1978 roku przez Zbigniewa Robakowskiego i Małgorzatę Potocką Galeria Wymiany. Domowa galeria małżeństwa Robakowskiego i Potockiej skoncentrowana była na wymianie myśli między łódzką a polską i światową neoawangardą oraz dokumentacji i archiwizowaniu prac. Osobiste kontakty i gromadzenie bogatej korespondencji, mail artu, książek artystycznych, zdjęć i nagrań wideo doprowadziły do stworzenia jednej z najważniejszych niezależnych kolekcji nowej sztuki w Europie Wschodniej.
Mimo wykorzystywania różnych mediów i technik – instalacji, fotografii, wideo, druku, mail artu, performansu – i różnic teoretycznych (od mistycyzującego esencjalizmu po ironiczny pragmatyzm) neoawangarda lat siedemdziesiątych postrzegała siebie zasadniczo jako jeden ruch progresywny. W ramach tego ruchu powstawały niezależne galerie, grupy i stowarzyszenia, wystawy i publikacje. Dzięki częstym kontaktom korespondencyjnym z artystami zagranicznymi polska neoawangarda postrzegała siebie jako fragment sieci o charakterze globalnym. Galeria Wymiany była zarówno miejscem tych kontaktów, jak i archiwum obiektów, dokumentów, książek i katalogów.
U progu lat osiemdziesiątych założyciel Galerii Wymiany wszedł w skład Kultury Zrzuty – nieformalnego, alternatywnego środowiska młodych łódzkich artystów – i zawiązał międzynarodową kooperację wideo Infermental. Działalność Galerii Wymiany i samego Robakowskiego jako artysty, teoretyka, wykładowcy, animatora i organizatora zaowocowały szeregiem podobnych inicjatyw w latach osiemdziesiątych (w samej Łodzi m.in. Galeria Wschodnia, U Zochy, Czyszczenie Dywanów, Strych). Przeprowadzane przez milicję i Służbę Bezpieczeństwa cenzurowanie korespondencji, rewizje i konfiskaty nie stanęły na przeszkodzie tej działalności. W tej dekadzie Galeria Wymiany dokonywała dokumentacji wideo alternatywnych działań artystycznych, od performansów po koncerty i festiwale rockowe. W 1987 roku Galeria Wymiany zainaugurowała międzynarodowy przegląd sztuki wideo Video Art Clip, odbywający się w Galerii Wschodniej. W samej Galerii Wymiany także miały miejsce pokazy filmów, dyskusje i spotkania. Spośród publikacji Galerii Wymiany wymienić warto książki Nieme kino I (1983), PST! - sygnia nowej sztuki (1984) oraz czasopismo „Uwaga” (sześć numerów od 1980 do 1990 r.). Podsumowaniem tego okresu istnienia Galerii Wymiany była wystawa Lochy Manhattanu współorganizowana przez Muzeum Kinematografii w podziemiach bloków w Łodzi w 1989 r.
Od 1989 do ok. 2002 r. Galeria Wymiany prowadzona była przez Józefa Robakowskiego wspólnie z Barbarą Konopką – artystką specjalizującą się w sztuce wideo i performansie. Od tego czasu do dziś kuratorem i właścicielem galerii jest sam Robakowskiego. Jednak najważniejszy okres Galeria Wymiany miała w latach osiemdziesiątych, zarówno pod względem artystycznym, jak i społeczno-politycznym. Galeria nadal mieści się w łódzkim mieszkaniu artysty. Do dziś ma charakter
nieformalny, nie została zinstutucjonalizowana, utrzymywana jest wyłącznie z prywatnych środków Robakowskiego. W 2016 r. artysta postanowił przekazać kolekcję Galerii Wymiany do archiwum Muzeum Sztuki Nowoczesnej w Warszawie – obiekty są stopniowo katalogowane i zabezpieczane.
