a) Vì $a,b,c$ là ba số hạng liên tiếp của một cấp số nhân nên có $a.c=b^2$.
Vì $a,b+2,c+9$ là ba số hạng liên tiếp của cấp số cộng, có $a+c+9=2\left(b+2\right)$.
Vì $a,b+2,c$ là ba số hạng liên tiếp của cấp số nhân, có $a.c=\left(b+2\right)^2$.
Ta có hệ phương trình $\begin{cases}a.c=b^2 &\left(1\right)\\ a+c+9=2\left(b+2\right)^2 &\left(2\right)\\ a.c=\left(b+2\right)^2 &\left(3\right)\end{cases}$
Thay (1) vào (3) được $b^2=\left(b+2\right)^2\Leftrightarrow b=-1$.
Thay $b=-1$ vào (1) và (2) được $\begin{cases}a.c=1\\ a+c=-7.\end{cases}$
Vậy $a,c$ là nghiệm của phương trình $$X^2+7X+1=0\Leftrightarrow\begin{cases}a=\dfrac{-7+3\sqrt{5}}{2}\\ c=\dfrac{-7-3\sqrt{5}}{2}\end{cases}\vee\begin{cases}a=\dfrac{-7-3\sqrt{5}}{2}\\ c=\dfrac{-7+3\sqrt{5}}{2}\end{cases}$$
b) Dễ thấy $u_n>0,\forall n\in\mathbb{N}^*$
Từ $u_{n+1}=\sqrt{3u_n^2+2}\Leftrightarrow u_{n+1}^2=3u_n^2+2$.
Đặt $v_n=u_n^2$ thì có $v_{n+1}=3v_n+2\Leftrightarrow v_{n+1}+1=3\left(v_n+1\right)$.
Đặt $x_n=v_n+1$ thì ta có $x_{n+1}=3x_n$. Từ đây suy ra $\left(x_n\right)$ là cấp số nhân với $x_1=2$, công bội là 3.
Nên $x_n=2.3^{n-1}\Rightarrow v_n=2.3^{n-1}-1\Rightarrow u_n=\sqrt{2.3^{n-1}-1}$.
$\begin{aligned}S&=2.3^0+2.3^1+2.3^2+\cdots+2.3^{2017}-2018\\
&=2\left(3^0+3^1+3^2+\cdots+3^{2017}\right)-2018\\
&=\dfrac{2\left(3^{2018}-1 \right)}{3-1}-2018\\ &=3^{2018}-2019\end{aligned}$