Chọn phương án A.

Gọi \(I(0;0;z)\in Oz\) là tâm của mặt cầu. Khi đó \(AI=BI=R\).

• \(\overrightarrow{AI}=(1;-2;z)\Rightarrow AI=\sqrt{5+z^2}\)
• \(\overrightarrow{BI}=(2;-1;z-1)\Rightarrow BI=\sqrt{5+(z-1)^2}\)

\(\begin{aligned}
AI=BI\Leftrightarrow&\sqrt{5+z^2}=\sqrt{5+(z-1)^2}\\
\Leftrightarrow&5+z^2=5+(z-1)^2\\
\Leftrightarrow&z^2=z^2-2z+1\\
\Leftrightarrow&2z=1\\
\Leftrightarrow&z=\dfrac{1}{2}.
\end{aligned}\)

Vậy tâm \(I\left(0;0;\dfrac{1}{2}\right)\) và bán kính $$R=AI=\sqrt{5+\dfrac{1}{4}}=\sqrt{\dfrac{21}{4}}$$

Do đó mặt cầu \((S)\) có phương trình $$x^2+y^2+\left(z-\dfrac{1}{2}\right)^2=\dfrac{21}{4}$$hay \(x^2+y^2+z^2-z-5=0\).