江戸時代、日本は鎖国（さこく）をしていました。そこで、外国の船の出入りは禁止されていて、山川港に不審（ふしん）な船の出入りがないかどうか見張りが置かれました。これが五人番です。5人の役人が仕事をしていたため五人番とよばれています。五人番には、のろし台が置かれていたそうです。