魚津の網元の家に私生児として生まれ、すぐに左官職人の家に養子に出される(横山はこの養父の姓)。
1881年、魚津明理小学校(現・
魚津市立大町小学校)を卒業後、商家に住み込み奉公をしながら独学し、
1885年に富山県立富山中等学校(現・
富山県立富山高等学校)に一期生として入学。しかし二年生の時に中退、代言人(
弁護士)を目指して上京し、英吉利法律学校(現・
中央大学)に学ぶ。その後、弁護士試験を数度にわたって受験するが合格できず、各地を放浪する。この時期に
二葉亭四迷や
内田魯庵、
幸田露伴らと知り合う。特に二葉亭四迷からは強い影響を受け、ルポライターを目指すきっかけとなった。
全集は、明治文献が2巻を出して頓挫し(1972〜1974)、また、社会思想社が3巻を出して中断し(2001〜2004)、社会思想社版の残りを法政大学出版局が引き受け、2007年、全11巻が完結した。