Родился в Одессе. Выучившись на аптекаря, принял православие, обрел новое имя - Григорий Петрович - и уехал в Москву учиться живописи. Мастерство живописца совершенствовал в Европе, а по возвращении в Россию занялся фотожурналистикой. Автор многочисленных знаменитых репортажных фотографий, изображавших Ленина и других членов партийной верхушки молодой Советской России. Множество снимков Гольдштейна, запечатлели будущих оппонентов Сталина, попавших позже в категорию «врагов народа». С 1930-х гг. многие знаменитые снимки Гольдштейна публикуются только в отретушированном варианте, где затерты фигуры Зиновьева, Каменева, Троцкого. В конце 1930-х гг. Гольдштейн был арестован, однако после нескольких дней дознаний в Бутырской тюрьме отпущен. Возможно, жизнь его спасло то обстоятельство, что перед арестом его сыновья успели уничтожить негативы всех опасных в такой ситуации снимков.