Training, dynamics, and complexity of architecture-specific recurrent neural networks
Date
1994
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This dissertation describes the main results of a pioneering effort to develop novel architectures, training strategies, dynamics analysis techniques and theoretical complexity results for architecure-specific reccurent neural network (ASRNNs). To put the study of ASRNNs into an appropriate perspective, a temporal processing framework that describes the different neural network approaches taken, was constructed. ASRNNs are more powerful than non-recurrent networks and computationally less expensive, more stable, and easier to study than general-purpose recurrent networks. The focus was on Elman, Jordan, and Temporal Autoassociation ASRNNs using discrete-time backpropagation.
AFRIKAANSE OPSOMMIG: Hierdie proefskrif beskryf die belangrikste resultate van baanbrekerswerk om nuwe argitekture, afrigstratigee, dinamiese analise tegniek en teoretiese kompleksiteitsresultate vir argitektuur-spesifieke terugvoer neurale netwerke (ASTNNe) te ontwikkel. Om die studie van ASTNNe in 'n gepaste perspektief te plaas, is 'n temporaleverwerkingsraamwerk daargestel wat die verskillende neurale netwerk benaderings wat ingespan word, beskryf. ASTNNe is kragtiger as nie-terugvoer netwerke en minder berekeningsintensief, meer stabiel, en eenvoudiger om te bestudeer as meerdoelige terugvoer netwerke. In hierdie studie word spesifiek gefokus op Elman, Jordan, en Temporale Outoassosiasie ASTNNe wat van die terugpropagering leer-algoritme gebruik maak.
AFRIKAANSE OPSOMMIG: Hierdie proefskrif beskryf die belangrikste resultate van baanbrekerswerk om nuwe argitekture, afrigstratigee, dinamiese analise tegniek en teoretiese kompleksiteitsresultate vir argitektuur-spesifieke terugvoer neurale netwerke (ASTNNe) te ontwikkel. Om die studie van ASTNNe in 'n gepaste perspektief te plaas, is 'n temporaleverwerkingsraamwerk daargestel wat die verskillende neurale netwerk benaderings wat ingespan word, beskryf. ASTNNe is kragtiger as nie-terugvoer netwerke en minder berekeningsintensief, meer stabiel, en eenvoudiger om te bestudeer as meerdoelige terugvoer netwerke. In hierdie studie word spesifiek gefokus op Elman, Jordan, en Temporale Outoassosiasie ASTNNe wat van die terugpropagering leer-algoritme gebruik maak.
Description
Dissertation (Ph. D.) -- University of Stellenbosch, 1994.
Keywords
Neural networks (Computer science), Computer architecture, System analysis, Dissertations -- Computer science, UCTD