ResourceExhaustedError: OOM lors de l'attribution du tenseur de la forme[32,32,239,239] et de type float

Question 1

Je suis en train de recréer CNN image modèle de reconnaissance de ce document(modèle 1) à l'aide de différentes images. Toutefois, l'application du modèle me renvoie un ResourceExhaustedError à la première époque. La taille du lot est déjà nettement plus petite donc je suppose que le problème est avec ma définition du modèle que j'ai copié à partir du papier. Tous les conseils sur ce qu'il faut changer avec le modèle sera appréciée. Merci!!!!

#Load dataset
BATCH_SIZE = 32
IMG_SIZE = (244,244)
train_set = tf.keras.preprocessing.image_dataset_from_directory(
    main_dir, 
    shuffle = True,
    image_size = IMG_SIZE,
    batch_size = BATCH_SIZE)
val_set = tf.keras.preprocessing.image_dataset_from_directory(
    main_dir, 
    shuffle = True, 
    image_size = IMG_SIZE,
    batch_size = BATCH_SIZE)
class_names = train_set.class_names
print(class_names)

#Augment data by flipping image and random rotation
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.experimental.preprocessing.RandomFlip('horizontal'),
    tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

#Model definition 
model = Sequential([
    data_augmentation,
    tf.keras.layers.experimental.preprocessing.Rescaling(1./255),
    Conv2D(filters=64,kernel_size=(4,4), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    AveragePooling2D(pool_size=(4,4)),

    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    AveragePooling2D(pool_size=(2,2)),
    Flatten(),
    
    Dense(256, activation='relu'),
    Dense(256, activation='relu'),
    Dense(128, activation='relu'),
    Dense(128, activation='relu'),
    Dense(128, activation='tanh'),
    Dense(1, activation='softmax')

])

model.compile(optimizer='RMSprop',
              loss=keras.losses.CategoricalCrossentropy(from_logits=True),
              metrics=[keras.metrics.CategoricalAccuracy()])

history = model.fit(train_set,validation_data=val_set, epochs=150)

Erreur après le modèle de montage:

ResourceExhaustedError:  OOM when allocating tensor with shape[32,32,239,239] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
     [[node gradient_tape/sequential_1/average_pooling2d/AvgPoolGrad (defined at <ipython-input-10-ef749d320491>:1) ]]

nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03    Driver Version: 460.91.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce 940MX       Off  | 00000000:01:00.0 Off |                  N/A |
| N/A   46C    P0    N/A /  N/A |   1938MiB /  2004MiB |      2%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A       959      G   /usr/lib/xorg/Xorg                 97MiB |
|    0   N/A  N/A      1270      G   /usr/bin/gnome-shell               25MiB |
|    0   N/A  N/A      4635      G   /usr/lib/firefox/firefox          212MiB |
|    0   N/A  N/A      5843      C   /usr/bin/python3                 1595MiB |
+-----------------------------------------------------------------------------+

Question 2

L'erreur est causée par le GPU, à court de mémoire. Cela peut être parce que 1) vous êtes en train de charger trop de données pour l'époque, même pour le GPU, ou 2) si vous avez assez de VRAM, un autre processus de réserves de la mémoire entre les époques. Cela peut se produire parce que tensorflow réserves de 100% de VRAM au moment de l'exécution. Vous pouvez limiter la quantité de VRAM réservés à juste ce qui est nécessaire.

import tensorflow as tf
for gpu in tf.config.list_physical_devices("GPU")
    tf.config.experimental.set_memory_growth(gpu, True)

Edit: en Regardant votre carte graphique, je suis assez certain que vous n'avez pas assez de VRAM pour la taille des lots et de la taille de l'image (donc problème 1). Vous devriez baisser la taille des lots.

Djinn · Answer 1 · 2021-11-23T17:57:42

L'erreur est causée par le GPU, à court de mémoire. Cela peut être parce que 1) vous êtes en train de charger trop de données pour l'époque, même pour le GPU, ou 2) si vous avez assez de VRAM, un autre processus de réserves de la mémoire entre les époques. Cela peut se produire parce que tensorflow réserves de 100% de VRAM au moment de l'exécution. Vous pouvez limiter la quantité de VRAM réservés à juste ce qui est nécessaire.

import tensorflow as tf
for gpu in tf.config.list_physical_devices("GPU")
    tf.config.experimental.set_memory_growth(gpu, True)

Edit: en Regardant votre carte graphique, je suis assez certain que vous n'avez pas assez de VRAM pour la taille des lots et de la taille de l'image (donc problème 1). Vous devriez baisser la taille des lots.

ResourceExhaustedError: OOM lors de l'attribution du tenseur de la forme[32,32,239,239] et de type float

La question

La meilleure réponse

Dans d'autres langues

Cette page est dans d'autres langues

Populaires dans cette catégorie

Questions populaires dans cette catégorie