Это выражение нежности, вроде милая, милая .... думаю, я бы предпочел, чтобы меня называли младенцем, чем старушкой!
Парни склонны называть девочек «младенцами» в знак нежности, хотя я полагаю, что им тоже можно злоупотреблять.
Слово «младенец» тоже имеет социокультурный характер. Я почти уверен, что вы не услышите слово «малыш», используемое слишком часто в определенных частях страны, где у женщин может быть альтернативное «прозвище» для женщин.