Dumitru Ripeanu, matematician, Institutul de Calcul