Adaptive greedy algorithm for moderately large dimensions in kernel conditional density estimation

arXiv (Cornell University)

Abstract

This paper studies the estimation of the conditional density f (x, $\times$) of Y i given X i = x, from the observation of an i.i.d. sample (X i , Y i) $\in$ R d , i = 1,. .. , n. We assume that f depends only on r unknown components with typically r d. We provide an adaptive fully-nonparametric strategy based on kernel rules to estimate f. To select the bandwidth of our kernel rule, we propose a new fast iterative algorithm inspired by the Rodeo algorithm (Wasserman and Lafferty (2006)) to detect the sparsity structure of f. More precisely, in the minimax setting, our pointwise estimator, which is adaptive to both the regularity and the sparsity, achieves the quasi-optimal rate of convergence. Its computational complexity is only O(dn log n).

Authors 3

1. Minh-Lien Jeanne Nguyen Aachen

   Leiden University · Laboratoire de Mathématiques d'Orsay · CELESTE: statistique mathématique et apprentissage · Le LAMA

   Affiliation as printed

   LAMA

   CELESTE - Statistique mathématique et apprentissage (Bâtiment 307, 91405, Orsay cedex - France)

   Universiteit Leiden = Leiden University (Leiden University | 2300 RA Leiden The Netherlands - Netherlands)

2. Claire Lacour

   Centre National de la Recherche Scientifique · Université Paris-Est Créteil · Université Gustave Eiffel · Laboratoire de Mathématiques d'Orsay · Laboratoire d’Analyse et de Mathématiques Appliquées · CELESTE: statistique mathématique et apprentissage · Le LAMA

   Affiliation as printed

   LAMA

   CELESTE - Statistique mathématique et apprentissage (Bâtiment 307, 91405, Orsay cedex - France)

   LAMA - Laboratoire Analyse et de Mathématiques Appliquées (Université Gustave Eiffel, 5 boulevard Descartes, F-77454 Marne-la-Vallée, France Université Paris-Est Créteil LAMA UMR CNRS 8050 UFR des Sciences et Technologie Bâtiment P3 - 4ème étage -61, avenue du Général de Gaulle 94010 Créteil Cedex - France)

3. Vincent Rivoirard

   Centre de Recherche en Mathématiques de la Décision

   Affiliation as printed

   CEREMADE

   CEREMADE - CEntre de REcherches en MAthématiques de la DEcision (Place du Maréchal de Lattre de Tassigny 75775 - Paris Cedex 16 - France)