Nieruchoności w rodzinie a działalność gospodarcza

Dzień dobry
Mam kilka pytań do doradcy podatkowego w sprawie nieruchomości.
Jednak przed pytaniami, opiszę swoją sytuację.

W XXXX r. kupiłem z żoną dwie nieruchomości. Pierwsza to działka budowlana z udziałem w drodze za kwotę XXXX zł (na tej działce mieliśmy postawić dom jednorodzinny na własne cele mieszkaniowe).
Druga nieruchomość to lokal użytkowy za XXXX zł. Lokal ten zamierzaliśmy wynajmować, jednak ostatecznie do tego nie doszło. Obydwie nieruchomości nabyliśmy jako osoby fizyczne (nie były one wprowadzone do działalności gospodarczej).

W XXXX r. obydwie nieruchomości sprzedaliśmy deklarując, że przychód ze sprzedaży przeznaczymy na zakup nieruchomości jako własnego celu mieszkaniowego.
Działkę budowlaną wraz z udziałem w drodze sprzedaliśmy za XXXX zł, natomiast lokal użytkowy za XXXX zł (przy czym ponieśliśmy tutaj wcześniej koszt kilkunastu tysięcy złotych na remon lokalu).

W XXXX r. nabyliśmy z żoną do w stanie surowym zamkniętym za kwotę XXXX 0 zł. Po pewnym czasie związanym z kompletowaniem formalności budowlanych zaczęliśmy ten dom wykańczać. W międzyczasie okazało się, że ceny materiałów i robocizny tak mocno skoczyły w górę, że po prostu nie będzie nas stać na ten dom.
Włożyliśmy w niego kilkadziesiąt tysięcy (udokumentowane koszty mogę obliczyć jeśli będzie potrzeba). Stwierdziliśmy jednak, że lepiej go będzie sprzedać. Tak, też się stało. W lipcu XXXX r. sprzedaliśmy go za cenę XXXX zł (w stanie deweloperskim).

Rok XXXX . Jeszcze nie deklarowaliśmy przeznaczenia środków ze sprzedaży tego domu na własny cel mieszkaniowy ale chcemy to faktycznie zrobić.
W sierpniu tego roku XXXX XXXX XXXX XXXX XXXX XXXX XXXX XXXX XXXX .

Dodam jeszcze bo być może to jest istotne, że od XXXX r. (jeszcze przed małżeństwem), jestem właścicielem dwóch mieszkań które kupiłem właśnie w XXXX .

Pytania do powyższej sytuacji (oprócz kosztów porady) są następujące:
1. Trochę mnie znajomy postraszył, że urząd skarbowy może dotychczasowe nasze z żoną działania uznać za działalność gospodarczą i dodatkowo narzucić podatek z odsetkami.
Zastanawiam się jak to poukładać aby zminimalizować to ryzyko? Zdaję sobie sprawę, że patrząc na całą sytuacją można odnieść wrażenie, że robiliśmy to zarobkowo, ale pomijając zakup lokalu użytkowego, naprawdę chcieliśmy wybudować dom dla siebie.
2. Pytanie drugie dotyczy naszego (z żoną) pomysłu na przyszłość. Tak jak wspominałem wcześniej, chcemy ponownie zadeklarować przeznaczenie tej ostatnio uzyskanej ze sprzedaży domu kwoty na własne cele mieszaniowe.
Plan jest taki aby XXXX XXXX XXXX XXXX XXXX XXXX.
Pytanie jednak brzmi czy ma to podatkowo sens (cały czas chodzi mi o kwestie zminimalizowania ryzyka uznania przez Urząd Skarbowy, że nieruchomości nie były kupowane z zamiarem przeznaczenia na własny cel mieszkaniowy i związanych z tego tytułu konsekwencjami)?