Previendo y Comprendiendo la Rotación de Conductores de Camiones de Larga Distancia Usando Datos Operacionales del Conductor y Clasificadores de Machine Learning Supervisado

Tabla 2

Períodos de tiempo y observaciones de los datos no tratados:

Tabla 3

Estadísticas resumidas de horas de conducción para todos los períodos de tiempo.

Fig. 1. Resumen del promedio de horas conduciendo por día de la semana en todos los períodos de tiempo.

4.1.2. Bosques aleatorios

El clasificador de bosque aleatorio es un clasificador de conjunto basado en árboles (Breiman, 2001; Cutler et al., 2012). Se basa en la intuición de los clasificadores de árboles de decisión, aplicando un gran número de árboles de decisión, cada uno entrenado en un subconjunto de los datos disponibles. El clasificador de bosque aleatorio recoge el voto de cada árbol de decisión para la clasificación correcta de una observación, basándose en el subconjunto de variables independientes en el que se entrenó el árbol individual (Bertsimas et al., 2016). Los votos se computan a partir de la "selva" de árboles de decisión entrenados y se realiza una clasificación. A continuación se presenta un breve pseudocódigo para el clasificador de bosque aleatorio, basado en Hastie et al. (2009).

Algoritmo 1: Bosque Aleatorio para Clasificación

1. Para \( b = 1 \) hasta \( B \):

   (a) Extraer una muestra bootstrap \( Z^* \) de tamaño \( N \) a partir de los datos de entrenamiento.

   (b) Crecer un árbol de bosque aleatorio \( T \) utilizando los datos de bootstrap, repitiendo los siguientes pasos para cada nodo terminal del árbol, hasta que se alcance el tamaño mínimo del nodo \( n_{\text{min}} \).

   i. Seleccionar \( m \) variables aleatoriamente de \( p \) variables.

   ii. Elegir el mejor punto de división variable entre las \( m \).

   iii. Dividir el nodo en dos nodos hijos.

2. Producir el conjunto de árboles.

Para hacer una predicción en un nuevo punto \( x \):

Clasificación: Sea  la predicción de clase del b-ésimo árbol del bosque. Entonces

Adaptado de Hastie et al. 2009, p. 588.

4.1.3. Máquinas de vectores de soporte

El clasificador de vectores de soporte asigna predicciones de clase definiendo un hiperplano multidimensional que separa observaciones de entrenamiento etiquetadas en un espacio de características n-dimensional. El clasificador esencialmente encuentra los límites o bordes del recurso de un hiperplano candidato que minimiza los errores de clasificación en el conjunto de entrenamiento. Esto puede formularse como un problema de optimización convexa, presentado por Hastie et al. (2009) en su forma muy general:

donde  ???? es un vector unitario ‖????‖ = 1; C representa un parámetro de costo (esencialmente ∞ en el caso de ser linealmente separable); y  ????1 , ????2 , ... , ???????? representan variables de holgura.

4.2. Modelando flujo de trabajo y procesamiento de datos

Los datos fueron proporcionados al equipo de investigación en cuatro períodos distintos de ocho semanas a lo largo de dos años. Es importante destacar que la recopilación de datos fue realizada por la empresa de manera independiente de nuestra influencia o proyecto experimental. Exploramos la estructura única del conjunto de datos para llevar a cabo dos experimentos naturales. El Experimento 1 prueba predicciones para los conductores que aparecen en T1, pero no aparecen tres meses después en T2. El Experimento 1 incluyó un total de 782 conductores, de los cuales 281 renunciaron (36%). El Experimento 2 prueba predicciones para los conductores que aparecen en T3, pero no aparecen tres meses después en T4. El Experimento 2 incluyó 512 conductores, de los cuales 158 renunciaron antes de T4 (31%). El experimento T3 a T4 fue descartado debido al intervalo de tiempo mucho más largo entre los períodos (11 meses).

Cada algoritmo clasificador fue entrenado, ajustado y probado para cada experimento. Primero entrenamos y ajustamos los algoritmos clasificadores en un conjunto de entrenamiento/ajuste que comprendía el 60% de los datos disponibles de ese experimento. Usando validación cruzada de 5 veces, ajustamos cada algoritmo clasificador para el conjunto de entrenamiento de cada experimento. Luego probamos cada algoritmo clasificador hiperajustado en el 40% restante de los datos disponibles de cada experimento. Este enfoque se presenta en la Figura 2. Los análisis fueron codificados en el lenguaje de programación Python y se utilizaron la biblioteca de aprendizaje automático scikit-learn (Pedregosa et al., 2011) y el paquete de hiperajuste Optuna (Akiba et al., 2019).

4.2.1. Rendimiento del modelo

Se informan tres medidas de rendimiento del modelo: Área Bajo la Curva (AUC), precisión y recall, así como una representación gráfica, la Curva Característica de Operación del Receptor (ROC, por sus siglas en inglés).

Siguiendo la presentación en Huang y Kechadi (2013), el rendimiento de los algoritmos clasificadores se puede entender mediante matrices de confusión. La matriz de confusión muestra recuentos de clasificaciones correctas e incorrectas por clase. Consulte la Tabla 4.

Tabla 4

Ejemplo de matriz de confusión para los experimentos 1 y 2:

4.2.2. Precisión y sensibilidad

La precisión se refiere al porcentaje de todas las clasificaciones que fueron correctas. En el contexto de este estudio, esto significaría el porcentaje de todos los conductores que fueron correctamente clasificados como habiendo sido despedidos o no. En el contexto de la Tabla 4, esto se calcularía como:

La sensibilidad es una medida de la probabilidad de predecir una clasificación positiva, dado que tal clasificación es realmente verdadera. En el contexto de este estudio, esto significa la probabilidad de prever un evento de rotación de conductores, dado que el conductor realmente rotó. Verbeke et al. destacan que, en el contexto de la predicción de rotación, los costos asociados con falsos positivos y falsos negativos no son iguales. Es más costoso perder un verdadero positivo y perder la oportunidad de intervenir. Por esta razón, la sensibilidad (a veces llamada 'recall') es una medida de rendimiento especialmente relevante (Verbeke et al., 2011). Dada la notación en la Tabla 2, esto se calcularía como:

Fig. 2. Diagrama esquemático del flujo de trabajo para la recolección de datos, ingeniería de características, calibración y análisis de modelo.
 

4.2.3. Curva Característica del Operador del Receptor (ROC)

Las curvas características del operador del receptor (ROC), como las mostradas en la Fig. 5, resumen el desempeño de un clasificador. Con la tasa de verdaderos positivos en el eje OY y la tasa de falsos positivos en el eje OX, una estimación completamente aleatoria tendría una probabilidad de 50/50 de clasificación correcta (Bertsimas et al., 2016; Bradley, 1997). En las curvas ROC de las Figs. 3 y 4, trazamos esa línea de paseo aleatorio 50/50 en trazos grises. En este sentido, un clasificador que se sitúa por encima de la línea de paseo aleatorio en la curva ROC predice mejor que una estimación aleatoria.

4.2.4. Área bajo la curva (AUC)

La información presentada en una curva ROC puede resumirse con una estadística de Área Bajo la Curva (AUC). Como su nombre indica, AUC resume el área bajo la línea ROC convexa. Puntuaciones más altas en la AUC implican que el clasificador es más capaz de distinguir entre clases. Formalmente, la AUC se puede calcular como:

donde ????0 es la suma de las observaciones de la clase 0, ????0 es el número de observaciones que pertenecen a la clase 0 y ????1 es el número de observaciones que pertenecen a la clase 1 (rotatividad). Esta explicación resume tratamientos similares en Bradley (1997) y Huang y Kechadi (2013).

Tabla 5

Desempeño único del clasificador en datos de prueba en los experimentos 1 y 2.

5. Resultados

6. Resultados y discusión

6.1. Rendimiento de los clasificadores

Los resultados de los experimentos de rotación se muestran en la Tabla 5. Esta tabla reporta el AUC, precisión y sensibilidad para una instancia de cada uno de los tres clasificadores. Las Figuras 3 y 4 muestran de manera similar las curvas ROC y las puntuaciones de AUC para estos experimentos.

En ambos experimentos, estos clasificadores mostraron un poder predictivo imperfecto, pero superior al de una estimación aleatoria (la línea de 'paseo aleatorio' en las Figuras 3 y 4). Las puntuaciones de precisión se acercan al 70% en los mejores casos, lo que significa que, en la mayoría de los casos, los clasificadores de aprendizaje automático entrenados en datos de ELDs hacen predicciones correctas sobre la rotación. Sin embargo, las puntuaciones de sensibilidad son notablemente bajas para todos los algoritmos en ambos experimentos. Como se muestra en la Tabla 5, aproximadamente la mitad de los conductores que realmente rotaron fueron clasificados incorrectamente por nuestros algoritmos predictivos.

Fig. 3. Curva ROC para el Experimento 1.

Fig. 4. Curva ROC para el Experimento 2.

6.2. Robustez de los resultados de precisión

Usando validación cruzada de 5 veces, también probamos la robustez de estos hallazgos. Estos resultados son generalmente consistentes en la replicación. Los resultados de precisión se agrupan ordenadamente entre el 60 y el 70% entre clasificadores y experimentos. Los clasificadores de bosques aleatorios y máquinas de vectores de soporte mostraron potencial para una variación positiva alcanzando entre el 70 y el 80%. Los resultados de sensibilidad muestran resultados igualmente consistentes, con puntuaciones agrupadas en torno al 50 y 60% entre algoritmos y experimentos. Los resultados de precisión y robustez de la validación cruzada de los tres clasificadores se compararon usando pruebas de Friedman, de acuerdo con la orientación de Demšar (2006). En cada comparación de precisión y robustez experimental, no se pudo rechazar la hipótesis nula de tendencia central no paramétrica equivalente. Los tres clasificadores parecen haber tenido un rendimiento igualmente bueno. Estos resultados se muestran para cada clasificador y cada experimento en las Figuras 5 y 6.

6.3. Importancia del recurso post hoc

Para obtener más información sobre lo que los datos de ELDs preparados pueden decirnos sobre la rotación de conductores de camiones de larga distancia, realizamos un análisis post hoc de la importancia del recurso. En este caso, esto significa comprender el papel que cada característica del día de la semana (promedio de horas y desviación estándar de horas) proyectada a partir de los datos brutos de los ELDs desempeñó en la predicción de la rotación a nivel de conductor. Esto es similar al enfoque en Davoodi et al. (2023). Sin embargo, en nuestro contexto, optamos por usar valores de Shapley Additive Explanations (SHAP) al comparar la importancia del recurso. Los valores SHAP representan la contribución aditiva única de cada recurso para la predicción del modelo (Baptista et al., 2022; Lee et al., 2023; Lundberg y Lee, 2017). En las Figuras 7 y 8 mostramos el valor SHAP de cada recurso en cada experimento, para cada uno de los tres clasificadores en orden descendente de importancia por experimento y por clasificador.

Varios patrones resultan de la observación de las Figuras 7 y 8. Primero, al observar los principales predictores, los recursos basados en el tiempo de conducción generalmente tienen una clasificación más alta que los recursos basados en el tiempo de espera. Al considerar los 10 valores SHAP más altos en recursos y experimentos, la conducción domina en 4 de los 6 casos de clasificador por experimento. También podemos observar que los recursos basados en el promedio y en la desviación estándar son importantes para hacer predicciones. En 4 de los 6 experimentos con clasificadores, los 10 principales recursos incluyeron una combinación uniforme de ambos tipos de medidas. Finalmente, los recursos basados en días de la semana (lunes, martes, miércoles y jueves) dominan sobre los recursos basados en fines de semana (sábado y domingo) en todas las instancias del clasificador por experimento. Al final, la cantidad y consistencia de las horas de conducción durante la semana laboral parecen ser las mayores responsables del poder predictivo de nuestro modelo.

Fig. 5. Precisión en el Experimento 1.
 

Fig. 6. Precisión en el Experimento 2.

Fig. 7. Valores SHAP en el Experimento 1.

Fig. 8. Valores SHAP en el Experimento 2.

8. Conclusiones y trabajos futuros

Este trabajo explora el potencial de una nueva fuente de datos, los Dispositivos de Registro Electrónico, para prever eventos de rotación de conductores. Para investigar este potencial, preparamos datos brutos de ELDs proporcionados por una empresa estadounidense de transporte por carretera de mediano tamaño para aproximadamente 1,200 conductores en dos experimentos diferentes. Organizamos los recursos basados en el tiempo dedicado a conducir y el tiempo de espera por día de la semana. Consideramos el promedio y las desviaciones estándar de ambas medidas. Aplicamos tres clasificadores a los datos preparados: regresión logística, bosques aleatorios y máquinas de vectores de soporte. Estos modelos mostraron una precisión del 60 al 70% y una sensibilidad del 50 al 60% en los dos experimentos y en los tres clasificadores. De hecho, los datos de ELD parecen tener un potencial anteriormente no reconocido para prever la rotación individual de conductores de camiones cuando se utilizan de esta manera con clasificadores de machine learning supervisados. Dado que la capacidad saludable del transporte por carretera es fundamental para el funcionamiento de las cadenas de suministro modernas, proponemos que estos resultados ofrecen nuevas herramientas técnicas, así como insights para mejorar los problemas globales de retención de camioneros en beneficio de las cadenas de suministro en todo el mundo.

Trabajos futuros podrían considerar la expansión de estos insights en otros contextos. Los datos disponibles para nuestro equipo de investigación fueron recolectados únicamente de conductores estadounidenses de camiones de larga distancia contratados. Aunque estos conductores representan la gran mayoría de la escasez de camioneros en Estados Unidos (Association, 2022), no representan a toda la comunidad global de camioneros. Esperamos que estos hallazgos sean probados en cuanto a su generalización también en otros contextos.

REFERENCIAS

Akiba, T., Sano, S., Yanase, T., Ohta, T., & Koyama, M. (2019). Optuna: A next- generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery and data mining (pp. 2623–2631).

American Trucking Association, A. (2021). Driver short- age update 2021: Tech. rep., American Trucking Association, https://www.trucking.org.

Association, A. T. (2022). American trucking association driver short-age report: Tech. rep., American Trucking Association.

Baptista, M. L., Goebel, K., & Henriques, E. M. (2022). Relation between prognostics predictor evaluation metrics and local interpretability SHAP values. Artificial Intelligence, 306, Article 103667.

Belzer, M. H., & Sedo, S. A. (2018). Why do long distance truck drivers work extremely long hours? The Economic and Labour Relations Review, 29(1), 59–79.

Bertsimas, D., Allison, K., & Pulleyblank, W. R. (2016). The analytics edge. Dynamic Ideas LLC Charlestown, MA.

Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition, 30(7), 1145–1159.

Breiman, L. (2001). Random forests. Machine Learning, 45, 5–32.

Burks, S. V., & Monaco, K. (2019). Is the U.S. labor market for truck drivers broken.

Monthly Labor Review, 1–23.

Corsi, T. M., & Fanara, P., Jr. (1988). Driver management policies and motor carier

safety. Logistics and Transportation Review, 24(2), 153–163.

CSCMP (2022). CSCMP’s annual state of logistics report: Tech. rep., Council of Supply

Chain Management Professionals.

Cutler, A., Cutler, D. R., & Stevens, J. R. (2012). Random forests. In C. Zhang, & Y. Ma (Eds.), Ensemble machine learning: methods and applications. Springer.

Davoodi, S., Thanh, H. V., Wood, D. A., Mehrad, M., Rukavishnikov, V. S., & Dai, Z. (2023). Machine-learning predictions of solubility and residual trapping indexes of carbon dioxide from global geological storage sites. Expert Systems with Applications, 222, Article 119796.

De Croon, E. M., Sluiter, J. K., Blonk, R. W., Broersen, J. P., & Frings-Dresen, M. H.

(2004). Stressful work, psychological job strain, and turnover: a 2-year prospective

cohort study of truck drivers. Journal of Applied Psychology, 89(3), 442.

Demšar, J. (2006). Statistical comparisons of classifiers over multiple data sets. The

Journal of Machine Learning Research, 7, 1–30.

FMCSA (2022). Summary of hours of service regulations. http://www.fmcsa.dot.gov/

regulations/hours- service/summary- hours- service- regulations.

FMCSA (2023). Federal motor carrier administration - electronic logging de- vices. from

https://eld.fmcsa.dot.gov/, Retrieved May 12, 2023.

Garver, M. S., Williams, Z., & Taylor, G. S. (2008). Employing latent class regression analysis to examine logistics theory: an application of truck driver retention. Journal of Business Logistics, 29(2), 233–257.

Hastie, T., Tibshirani, R., Friedman, J. H., & Friedman, J. H. (2009). The elements of statistical learning: data mining, inference, and prediction, Vol. 2. Springer.

Huang, Y., & Kechadi, T. (2013). An effective hybrid learning system for telecommunication churn prediction. Expert Systems with Applications, 40(14), 5635–5647.

Johnson, J. C., Bristow, D. N., McClure, D. J., & Schneider, K. C. (2011). Determinants of job satisfaction among long-distance truck drivers: An interview study in the United States. International Journal of Management, 28(1), 203.

Keller, S. B. (2002). Driver relationships with customers and driver turnover: key mediating variables affecting driver performance in the field. Journal of Business Logistics, 23(1), 39–64.

Khaitan, A., Mehlawat, M. K., Gupta, P., & Pedrycz, W. (2022). Socially aware fuzzy vehicle routing problem: A topic modeling based approach for driver well-being. Expert Systems with Applications, 205, Article 117655.

Lee, Y.-G., Oh, J.-Y., Kim, D., & Kim, G. (2023). SHAP value-based feature impor- tance analysis for short-term load forecasting. Journal of Electrical Engineering & Technology, 18(1), 579–588.

LeMay, S. A., Williams, Z., & Carver, M. (2009). A triadicic view of truck driver satisfaction. Journal of Transportation Management, 21(2), 1–15.

Lundberg, S. M., & Lee, S.-I. (2017). A unified approach to interpreting model predictions. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, & R. Garnett (Eds.), Advances in neural information processing systems, Vol. 30. Curran Associates, Inc., https://proceedings.neurips.cc/paper_files/ paper/2017/file/8a20a8621978632d76c43dfd28b67767- Paper.pdf.

Miller, J. W., Bolumole, Y., & Muir, W. A. (2021). Exploring longitudinal industry-level large truckload driver turnover. Journal of Business Logistics, 42(4), 428–450. Miller, J. W., Muir, W. A., Bolumole, Y., & Griffis, S. E. (2020). The effect of truckload driver turnover on truckload freight pricing. Journal of Business Logistics, 41(4), 294–309.

Miller, J. W., Saldanha, J. P., Hunt, C. S., & Mello, J. E. (2013). Combining formal controls to improve firm performance. Journal of Business Logistics, 34(4), 301–318. Min, H., & Lambert, T. (2002). Truck driver shortage revisited. Transportation Journal, 5–16.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, E. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825–2830.

Phares, J., & Balthrop, A. (2022). Investigating the role of competing wage oppor- tunities in truck driver occupational choice. Journal of Business Logistics, 43(2), 265–289.

Suzuki, Y., Crum, M. R., & Pautsch, G. R. (2009). Predicting truck driver turnover. Transportation Research Part E: Logistics and Transportation Review, 45(4), 538–550. Verbeke, W., Martens, D., Mues, C., & Baesens, B. (2011). Building comprehensible customer churn prediction models with advanced rule induction techniques. Expert Systems with Applications, 38(3), 2354–2364.

Williams, Z., Garver, M. S., & Stephen Taylor, G. (2011). Understanding truck driver need-based segments: creating a strategy for retention. Journal of Business Logistics, 32(2), 194–208