a=2i^−j^+3k^\ b=3i^−5j^+k^
a×c=c×b ,, a×c+b×c=0
(a+b)×c=0
⇒c=λ(a+b)
c=λ(5i^−6j^+4k^)
∣c∣2=λ2(25+36+16)
∣c∣2=77λ2
(a+c)⋅(b+c)=168
a⋅b+a⋅c+c⋅b+∣c∣2=168
14+c⋅(a+b)+77λ2=168
using equation (1) λ∣5i^−6j^+4k^∣2+77λ2=15477λ+77λ2−154=0λ2+λ−2=0λ=−2,1
∴ Maximum value of ∣c∣2
occurs when λ=−2
∣c∣2=77λ2
=77×4
=308