Mean-field models for deep neural networks

Quem: 

Roberto Imbuzeiro Oliveira (IMPA)

Onde: 

Praia de Botafogo, 190 - sala 537

Quando: 

23 de Maio de 2019 às 16h

Deep neural networks (DNN) are behind many of the recent advances in artificial intelligence and pattern recognition, from natural language processing to image labelling. However, we lack a good theoretical understanding of what makes DNNs work. It is not even understood why "overparameterization" -- ie. adding more and more neurons to a network -- allows for better performance, even though it presumably increases the risk of overfitting.

Ths talk will present a potential approach to understanding DNNs with a very large number of parameters. In a nutshell, we show that certain overparameterized DNNs may be approximated by a new class of mean-field models that are amendable to further analysis. In particular, our result suggests that overparameterization plus training by stochastic gradient descent has a kind of regularizing effect on the network.

Our mean-field model is related to mean-field games and many other classes of models from several areas that carry the "mean-field" or "McKean-Vlasov" prefix. Still, we will not assume any previous familiarity with the topic of mean-field systems.

Joint work with Dyego Araújo and Daniel Yukimura from IMPA.

*Texto informado pelo autor. 

Palestrante: 

Roberto Imbuzeiro é pesquisador do IMPA desde setembro de 2006, tendo se tornado pesquisador titular em setembro de 2017. Obteve seu Ph.D. em Matemática em 2004 no Courant Institute of Mathematical Sciences da New York University, onde foi orientado por Joel Spencer. Foi pos doc no grupo Physics of Information do IBM T.J. Watson Research Center entre 2004 e 2006. onde foi orientado por Barbara Terhal. Seus interesses incluem Probabilidade e as suas relações com problemas em Estatística, Matemática Discreta, Informação Quântica e outras áreas. Tornou-se membro associado da Academia Brasileira de Ciências em 2012. Coordenou a Divisão de Ensino do IMPA em 2014 e 2015 e agora é Coordenador de Planejamento e Projetos da mesma instituição.