河内国大鳥郡の百舌鳥（もず）に勢力をもっていた一族が、この地に移り住んだことによるとされている。「物集女」はかなり古くから記録に出てくる地名で、９世紀ごろの記録には「物」と「集」の２文字だけで「もず」と発音していた事例も見られる。