El Algoritmo Naive Bayes

Naive Bayes es una técnica de clasificación y predicción que construye modelos que predicen la probabilidad de posibles resultados.

Naive Bayes utiliza datos históricos para encontrar asociaciones y relaciones y hacer predicciones. Está basada en la teoría de probabilidad del análisis de Tomas Bayes que se utiliza para clasificar una nueva instancia D en un conjunto de clases C buscando correlaciones entre atributos de cada instancia. Este teorema es de gran importancia porque vincula la probabilidad de que un evento h dado O con la probabilidad de O dado h. Entonces a partir del suceso O, deducimos las probabilidades del suceso h. La formula de Bayes es: P(h_i│O)= (P(h_i )*P(O│h_i ))/(∑▒〖P(h_i )*P(O│h_i ) 〗) .

Ahora dado un ejemplo x representado por k valores el clasificador Naive Bayes se basa en encontrar la hipótesis más probable que describa a ese ejemplo. Para encontrar la clase o la hipótesis en la que mejor se clasifica un ejemplo se necesita el valor máximo valor de la expresión. Si la descripción de ese ejemplo viene dada por los valores, la hipótesis más probable será aquella que cumpla:

Aplicando el teorema de Bayes:

Ahora el clasificador Naive asume que los valores de los atributos son condicionalmente independientes dado el valor de la clase. Es decir:

Para que la ecuación del algoritmo de Naive Bayes quede:

...