Можно ли как-то на VDS подключить дополнительный PECL-модуль (интересует YAML)?
Еще нужен PHP 5.3. Его нужно (и можно ли) собирать самостоятельно? Есть ли какие-то инструкции или рекомендации на этот счет?

На VDS у Вас root доступ, соответственно Вы там царь и бог, если речь не касается виртуализации (например, пересобрать ядро не получится).

Более конкретные ответы можете получить по запросу в тикетовку.