Chọn phương án D.

Gọi $O$ là tâm hình vuông $ABCD$.

Vì $\begin{cases}
(A'BD)\cap(ABCD)=BD\\
A'O\perp BD\\
AO\perp BD
\end{cases}$ nên $$\big((A'BD),(ABCD)\big)=\big(A'O,AO\big)=\widehat{A'OA}=30^\circ.$$
Tam giác $A'AO$ vuông tại $A$ và có $OA=\dfrac{1}{2}AC=\dfrac{1}{2}BD=a$.

Suy ra $AA'=OA\cdot\tan\widehat{A'OA}=a\cdot\tan30^\circ=\dfrac{a\sqrt{3}}{3}$.

Vậy thể tích của khối hộp chữ nhật là $$V=AB\cdot AD\cdot AA'=a\cdot a\cdot\dfrac{a\sqrt{3}}{3}=\dfrac{2\sqrt{3}}{3}a^3.$$