TwigとAngularJSでは、式評価の構文が同じ{{exp}}なので、AngularJSの式を使う箇所はTwig側で、

{% raw %}
{{ exp }}
{% endraw %}

というふうに{% raw %}〜{% endraw %}で囲んでTwig側で評価されないようにする必要があります。