Evaluating transfer learning for classification of proteins in bioinformatics

Abstract

Este estudio presenta una solución para mejorar significativamente la clasificación de proteínas en familias o dominios utilizando transfer learning. Con más de 229 millones de proteínas en UniProtKB, solo el 0.25% de ellas han sido anotadas y clasificadas en más de 17,000 familias posibles. Recientemente, aparecieron modelos de aprendizaje profundo (DL) para esta tarea. Sin embargo, los modelos requieren grandes cantidades de datos para el entrenamiento, y la mayoría de las familias tienen solamente algunos ejemplos. Para abordar este problema, proponemos la aplicación de Transfer Learning (TL). Este enfoque implica un aprendizaje auto supervisado en conjuntos de datos grandes y no etiquetados para generar un vector numérico para cada entrada. Esta representación aprendida se puede usar con aprendizaje supervisado en un conjunto de datos pequeño y etiquetado para una tarea de clasificación específica. Los resultados logrados en este estudio indican que el uso de TL para la clasificación de familias de proteínas puede reducir el error de predicción en un 55% en comparación con los métodos estándar y en un 32% en comparación con los modelos de DL con representaciones de entrada simples, como la codificación one hot. Este estudio demuestra que el TL es una técnica efectiva y prometedora para mejorar la clasificación y anotación de proteínas en bases de datos grandes pero no anotadas.

This study presents a solution to significantly improve protein classification into families or domains using transfer learning. With more than 229 million proteins in UniProtKB, only 0.25% of them have been annotated and classified into over 17,000 possible families. Recently, deep learning (DL) models appeared for this task. However, DL models require large amounts of data for training, and most protein families have just a few examples. To tackle this issue, we propose the application of Transfer Learning (TL) to the classification problem. The TL approach involves self-supervised learning on large and unlabeled datasets to generate a numerical embedding for each data point. This representation learned can then be used with supervised learning on a small, labeled dataset for a specific classification task. The results achieved in this study indicate that using TL for protein families classification can reduce the prediction error by 55% compared to standard methods and by 32% compared to DL models with simple input representations such as one-hot encoding. This study demonstrates that transfer learning is an effective and promising technique to improve protein classification and annotation in large and yet un-annotated databases.