Как решить X ^ 2 = 14x + 40 / x ^ 2-100 = x + 4 / x-10?

Похоже, вы спрашиваете, как это упростить. (Обратите внимание, что скобки необходимы, чтобы это означало именно то, что вы хотите.)
(X ² -14x +40) / (x ² -100)

Как числитель, так и знаменатель можно разложить на множители.
(x ² -14x +40) / (x ² -100) = ((x + 4) (x + 10)) / ((x-10) (x + 10))

Условия (x + 10) / ( x + 10) имеют значение 1, поэтому это выражение эквивалентно
  = ((x + 4) / (x-10)) * ((x + 10) / (x + 10)) = ((x + 4 ) / (х-10)) * 1
  = (х + 4) / (х-10)