Informações:

Publicações do PESC

Título
Captura de Dados de Proveniência para Apoiar a Análise de Hiperparâmetros em Redes de Aprendizado Profundo
Linha de pesquisa
Engenharia de Dados e Conhecimento
Tipo de publicação
Dissertação de Mestrado
Número de registro
Data da defesa
2/4/2020
Resumo

O treinamento das Redes Neurais Convolucionais (CNN) requer o ajuste de hiperparâmetros até que se encontre uma configuração em que a métrica escolhida pelo especialista seja satisfatória. Para isso, é preciso analisar dados do treinamento da CNN como a configuração dos hiperparâmetros e seus relacionamentos com a derivação dos dados. Nesse sentido, dados de proveniência podem auxiliar nessa análise por apresentarem metadados e a derivação dos dados do treinamento. As soluções existentes para a análise de configurações de hiperparâmetros não seguem padrões de representação de derivação dos dados e não permitem análise durante o treinamento. Tais abordagens requerem que o treinamento seja executado sob um portal ou ambiente de execução e/ou apresentam impacto significativo no tempo de treinamento da CNN. Apresenta-se, nesta dissertação, a CNNProv, uma solução de captura de dados de proveniência, que permite a análise de valores de hiperparâmetros durante o treinamento. A CNNProv adota o padrão W3C PROV para representar dados de proveniência e pode ser usada como serviços, independente de portal, contribuindo assim para a fase de treinamento das CNNs. Os experimentos realizados com o treinamento de CNNs em diferentes cenários usam uma CNN clássica, a AlexNet, e uma aplicação de imageamento sísmico. Os resultados mostram a adequação da CNNProv para a análise de hiperparâmetros com sobrecarga desprezível de até, no máximo, 4%.

Abstract

Convolutional Neural Networks (CNN) training requires adjusting hyperparameters until a configuration is found in which the metric chosen by the specialist is satisfactory. For this, it is necessary to analyze CNN training data such as the hyperparameters configuration and their relationships with the data derivation. In this sense, provenance data can assist in this analysis by presenting metadata and the derivation of the training data. Current solutions for the analysis of hyperparameters configurations do not follow representation patterns of data derivation and do not allow analysis during training. Also, such approaches require CNN training to be executed under a portal or execution environment and/or have a significant impact on CNN’s training time. In this dissertation, we present CNNProv, a provenance data capture solution, which allows the analysis of hyperparameters values during training. CNNProv adopts the W3C PROV standard to represent provenance data and can be used as services, regardless of a portal, thus contributing to the CNNs training phase. The experiments conducted with the training of CNNs in different scenarios use a classic CNN, AlexNet, and a seismic imaging application. The results show the suitability of CNNProv for the hyperparameter analysis with a negligible overhead of up to 4%.

Arquivo
Topo