Data modelling & Bayesian model comparison with spherically symmetric priors
Date
2020-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The analysis of data is common in many fields of science, and modelling data is one of the standard
techniques in such analysis. Models are, of course, not unique and many theoretical models may
be constructed to describe the same set of data. When considering many competing models, we
naturally ask the question: which model best describes the data?
It is well known that the chi-squared criterion, which is commonly cited as a goodness-offit
between model and data, is inadequate as a measure of model quality. Rather, we employ
the Bayesian framework of probability theory in addressing the question of model description
of data. Within the Bayesian framework, the evidence (marginal likelihood) is the criterion by
which to compare competing theoretical models. The evidence is an integral (over all parameter
space) of the likelihood and prior. However, even for the simple case of linear models, there is
no consensus or clarity on the choice of the best uninformative prior which enables the unbiased
comparison of models with different numbers of parameters. In addressing the concern of the
prior, we consider the framework of spherical symmetry, in which the evidence is reduced from
an integral over a multi-dimensional space to that of a one-dimensional space, effectively reducing
the problem to finding a single, optimal radial prior. We generalise existing results to a family
of priors via scale relations in the form of a scaling parameter, of which several scaling relations
are tested to find the best scale between models of different dimensions. We also introduce a
new hyper-parameter, which had previously been conflated with model dimensions. With these
developments we establish a prior that is sensitive to the new hyper-parameter, while insensitive
to the model dimension, leading to the establishment of information criteria that are sensitive to
these new parameters as well as the model dimension. These criteria are tested and shown to be
an improvement over the existing body of work. These information criteria perform on par with
widely accepted information criteria in the literature.
AFRIKAANSE OPSOMMING: Die analise van data is algemeen in verskeie wetenskaplike velde en een van die standaard tegnieke behels data modellering. Data modelle, is natuurlik nie uniek nie, en verskeie teoretiese modelle kan geskep word om dieselfde data versameling te beskryf. Wanneer verskeie modelle wat meeding in ag geneem word, ontstaan dié vraag: watter model gee die beste beskrywing van die data? Dit is bekend dat die chi-kwadraat kriterion, wat algemeen in die konteks van pasgehalte tussen model en data gebruik word, onvoldoende as ’n maatstaaf van modelgehalte is. Ons maak gebruik van die raamwerk van Bayesiaanse waarskynlikheid om die vraag van modelbeskrywing van data te beantwoord. Met betrekking tot die Bayesiaanse raamwerk is die randaanneemlikheid die maatstaaf waarmee kompeterende modelle vergelyk kan word. Die randaanneemlikheid is ’n integraal (oor die gehele parameter-ruimte) van die aanneemlikheids-waarskynlikheid en die voorafwaarskynlikheid. Selfs vir die eenvoudige geval van lineêre modelle is daar egter geen ooreenstemming of duidelikheid oor die keuse van die beste oningewyde voorafwaarskynlikheid wat onbevooroordeelde vergelykings tussen modelle van verskillende dimensies toelaat nie. Om die saak van die voorafwaarskynlikheid aan te spreek, beskou ons die raamwerk van sferiese simmetrie, waarin die randaanneemlikheid vanaf ’n multi-dimensionele ruimte na ’n eendimensionele ruimte vereenvoudig word. Sodoende vereenvoudig ook die probleem tot die soektog na die enkele, optimale radiale voorafwaarskynlikheid. Ons veralgemeen die bestaande weergawes na dié van ’n familie van voorafwaarskynlikhede met skaalverhoudings in die vorm van ’n skaalparameter. Verskeie skaalverhoudings word getoets om die beste verhouding tussen modelle van verskillende dimensies te bepaal. Ons stel ook ’n nuwe hiperparameter voor wat voorheen met die algemene model dimensie verwar is. Met hierdie veralgemenings skep ons ’n voorafwaarskynlikheid wat die nuwe hiperparameter in ag neem, maar terselfdertyd die model dimensie verontagsaam, waaruit ons inligtingskriteria bepaal wat hierdie nuwe parameters in ag neem asook die model dimensie. Hierdie kriteria word teen die bestaande raamwerk van sferiese simmetrie getoets, en in vergelyking is dit aangetoon dat daar verbeteringe is. Dit is aangedui dat hierdie nuwe inligtingskriteria tred hou met die mees aanvaarde inligtingskriteria in die literatuur.
AFRIKAANSE OPSOMMING: Die analise van data is algemeen in verskeie wetenskaplike velde en een van die standaard tegnieke behels data modellering. Data modelle, is natuurlik nie uniek nie, en verskeie teoretiese modelle kan geskep word om dieselfde data versameling te beskryf. Wanneer verskeie modelle wat meeding in ag geneem word, ontstaan dié vraag: watter model gee die beste beskrywing van die data? Dit is bekend dat die chi-kwadraat kriterion, wat algemeen in die konteks van pasgehalte tussen model en data gebruik word, onvoldoende as ’n maatstaaf van modelgehalte is. Ons maak gebruik van die raamwerk van Bayesiaanse waarskynlikheid om die vraag van modelbeskrywing van data te beantwoord. Met betrekking tot die Bayesiaanse raamwerk is die randaanneemlikheid die maatstaaf waarmee kompeterende modelle vergelyk kan word. Die randaanneemlikheid is ’n integraal (oor die gehele parameter-ruimte) van die aanneemlikheids-waarskynlikheid en die voorafwaarskynlikheid. Selfs vir die eenvoudige geval van lineêre modelle is daar egter geen ooreenstemming of duidelikheid oor die keuse van die beste oningewyde voorafwaarskynlikheid wat onbevooroordeelde vergelykings tussen modelle van verskillende dimensies toelaat nie. Om die saak van die voorafwaarskynlikheid aan te spreek, beskou ons die raamwerk van sferiese simmetrie, waarin die randaanneemlikheid vanaf ’n multi-dimensionele ruimte na ’n eendimensionele ruimte vereenvoudig word. Sodoende vereenvoudig ook die probleem tot die soektog na die enkele, optimale radiale voorafwaarskynlikheid. Ons veralgemeen die bestaande weergawes na dié van ’n familie van voorafwaarskynlikhede met skaalverhoudings in die vorm van ’n skaalparameter. Verskeie skaalverhoudings word getoets om die beste verhouding tussen modelle van verskillende dimensies te bepaal. Ons stel ook ’n nuwe hiperparameter voor wat voorheen met die algemene model dimensie verwar is. Met hierdie veralgemenings skep ons ’n voorafwaarskynlikheid wat die nuwe hiperparameter in ag neem, maar terselfdertyd die model dimensie verontagsaam, waaruit ons inligtingskriteria bepaal wat hierdie nuwe parameters in ag neem asook die model dimensie. Hierdie kriteria word teen die bestaande raamwerk van sferiese simmetrie getoets, en in vergelyking is dit aangetoon dat daar verbeteringe is. Dit is aangedui dat hierdie nuwe inligtingskriteria tred hou met die mees aanvaarde inligtingskriteria in die literatuur.
Description
Thesis (MSc)--Stellenbosch University, 2020.
Keywords
Information display systems -- Comparative methods, Linear models (Statistics), Radial basis function, Probability theory, Spherical data, UCTD