[tex]sin^2\ 60^o+cos150^o=sin^2\ 60^o+cos\ (90^o+60^o)=\\\\=(\frac{\sqrt3}{2})^2-sin\ 60^o=\frac34-\frac{\sqrt3}{2}=\frac34-\frac{2\sqrt3}{4}=\\\\=\frac{3-2\sqrt3}{4}[/tex]