Je suis en train de travailler sur un problème de classement avec un ensemble de données image, avoir 11 classes. Il contient un total de 11 000 images, chaque classe ayant 1000 images, stockées dossier-sage (11 dossiers). Le jeu de données d'une taille d'environ 40 MO. Après j'ai télécharger les données à partir de google drive en collab( ce qui prend du temps) et de pré-traiter avant d'alimenter le modèle, la mémoire de collab devient 95% de la pleine instantanément. Quand j'ai commencer la formation, collab se bloque, et le moteur d'exécution est réinitialisé. Cela ne se produit pas lorsque j'utilise Keras de flux de données à partir du répertoire. Je suis incapable de trouver une solution. Capture d'écran
0
Ce qui se passe, car en appelant ajustement avec le train et la validation des ensembles de données, vous forcez colab pour charger toutes les images de la mémoire ram à la même chose, vous avez besoin d'écrire un générateur, une solution facile avec la plupart du code déjà écrit est d'utiliser le tfrecords, keras s'occupe du reste.
https://www.tensorflow.org/tutorials/load_data/tfrecord
vous avez besoin de stocker les images sur le disque et de les prendre au cours de la formation, pas tous au début.
vous n'avez pas à utiliser tfrecords, vous pouvez utiliser un générateur vous le souhaitez, mais ce genre de choses arrive juste au large de la chauve-souris
BestDogeStackoverflow
Eh bien, je suis en utilisant Keras Tuner ici, donc je ne suis pas sûr si le générateur peut être utilisé avec accordeur-recherche ou pas
SDS