Czy będę mógł kiedyś wybudować altanę.

Witam.
Mam zapytanie co do zabudowy.
Działkę zakupiłem w 2000 roku jako pastwisko a w roku 2006 działki zostały przekwalifikowane na tereny zabudowy rekreacyjnej inwidualnej i oznaczone
symbolem D4 ML i nie wytyczono dróg dojazdowych.Wszyscy sąsiedzi mają działki o tym samym symbolu i korzystają
z tej samej drogi co ja ale droga nie jest naniesiona na mapę czyli faktycznie
jej niema jest drogą polną między działkami ktorą od 100 lat miejscowi sobie wydeptali
i wszyscy mają dojazd do swoich działek,ale zmierzam do tego że wszystkie działki
mają pobudowane duże domy całoroczne i rozumiem że powinni mieć zgodę na budowę tylko
jakim prawem je dostali skoro niema prawnej drogi dojazdowej do działek.Moja działka
ma niecałe 900 m i nie myślałem o budowie domu tylko o postawieniu murowanej altany czy
domku narzędziowego do 25m lub 35m na i bez problemu mógłbym postawić na zgłoszenie tylko
nie dostałem zgody bo prawnie niema drogi dojazdowej tylko polna.
Moje zapytanie czy mam jakieś wyjście z tej sytuacji aby tą altanę wybudować.
Proszę o poradę.