find /path/to/my/directory/* -delete
Здесь нужно обязательно указывать /path/to/my/directory/ не зависимо в какой директории находитесь Вы.
Если все равно получаете сообщение: Argument list too long, то нужно убрать звездочку из пути.
Найдет только файлы:
find /path/to/my/directory/ -type f -delete