Czy prowadzący księgi rachunkowe z tytułu pozarolniczej działalności gospodarczej może być jednocześnie rolnikiem ryczałtowym

Jako osoba fizyczna prowadzę działalność gospodarczą na podstawie wpisu do ewidencji działalności gospodarczej (PKD 51.11.Z). Ewidencja księgowa prowadzona jest w formie ksiąg rachunkowych. Podatek od towarów i usług jest rozliczany za okresy miesięczne, na zasadach ogólnych. W 2008 r. na podstawie umowy kupna-sprzedaży kupiony został grunt rolny. W ramach prowadzenia własnego gospodarstwa rolnego dokonuję jako rolnik ryczałtowy dostawy produktów rolnych - zbóż. Jako rolnik korzystam ze zwolnienia od podatku od towarów i usług na podstawie art. 43 ust. 1 pkt 3 ustawy. Z tego powodu dostawy produktów rolnych potwierdzane są fakturami VAT-RR wystawianymi przez nabywców. Uzyskałem w urzędzie skarbowym informację, że nie mogę korzystać ze zwolnienia z VAT, ponieważ prowadzę księgi. Czy rzeczywiście tak jest?