J'ai formé de BERT modèle à l'aide de pytorch pour environ un million de données de texte pour une tâche de classification. Après le test de ce modèle avec de nouvelles données-je obtenir de Faux Positifs et de Faux Négatifs. Maintenant, je veux recycler le modèle existant uniquement avec le FN et FP. Je ne veux pas ajouter le FN et FP à l'existant dataset, puis former l'ensemble du modèle. Comment puis-je recycler cette bert seulement pour le modèle avec ces FN et Fp au cours de la previosuly modèle appris.
0
Sans connaître le code de votre train de boucle, l'idée devrait ressembler à quelque chose comme ceci après la formation:
results = model(data)
wrong_datapoints = []
for i, result in enumerate(results)
if result != labels[i]:
wrong_datapoints.append((data[i],labels[i]))
(data_new, labels_new) = list(zip(*wrong_datapoints))
model.train(data_new, labels_new)
Si vous voulez quelque chose de plus précis, vous allez avoir à fournir le code de votre train en boucle.
merci pour les commentaires. Mais je tiens à garder une version du modèle, puisque nous formons chaque semaine, nous modèle version. Et aussi de l'itération d'un million d'enregistrements va prendre beaucoup de temps. Je pensais de chargement de la version précédente du fichier bin(v1.0), puis de les recycler avec seulement de nouveaux points de données pour créer une autre version v2.0
Patricia
Vous pourriez préciser votre question, en l'état. Cependant, faire du versioning ne supprime pas la nécessité de suivre les résultats des données de points à l'issue de la formation, nécessitant une seule boucle sur le train de données après l'entraînement est terminé. Vous devez déterminer quel est le "de nouveaux points de données" sont, après tout.
Kroshtan