QA Engineer Tester AI LLM

2 tygodni temu

Warszawa, Polska DPDgroup IT Solutions Pełny etat

About the Role

We’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows, relational databases, and result traceability.

You won’t be writing automation scripts, but you will need to understand how AI agents operate, how their outputs are used, and how to verify correctness across both the UI and backend.

What You’ll Do

- Manually test AI-driven workflows that generate content, complete tasks, or make decisions

- Assess AI behavior by checking for:

- Consistency and repeatability

- Hallucinations, inaccuracy, or bias

- Relevance and task alignment

- Evaluate data integrity :

- Trace AI-generated data from the interface to the backend

- Use SQL to validate how outputs are stored, structured, or logged

- Compare AI intent/output to the resulting records in the database

- Reproduce and report subtle, fuzzy, or probabilistic issues with structured documentation

- Collaborate with engineers, AI designers, and product owners to define quality criteria across system layers

Must-Have Skills

- 2+ years of manual QA experience , ideally in exploratory or context-driven testing environments

- Practical understanding of LLMs and AI tools (ChatGPT, Claude, etc.)

- Basic to intermediate knowledge of SQL (joins, filters, aggregations, subqueries)

- Experience validating data pipelines, audit logs, or relational integrity

- Able to detect both UI anomalies and backend data discrepancies

- Clear written and verbal communication for reporting behavior-based bugs

- Familiarity with testing non-deterministic or AI-powered systems

Nice-to-Have

- Understanding of prompt engineering and how LLM behavior can shift with input changes

- Familiarity with AI agent architectures (e.g., LangChain, ReAct, RAG systems)

- Experience working with BI tools (e.g., Metabase, Redash) or data validation frameworks

- Background in content moderation, safety testing, or AI/UX evaluation

  • QA Engineer Tester AI LLM

    2 tygodni temu

    Warszawa, Polska DPDgroup IT Solutions Pełny etat

    About the Role We’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows,...

  • QA Engineer Tester AI LLM

    3 tygodni temu

    Warszawa, mazowieckie, Polska DPDgroup IT Solutions Pełny etat 12 zł

    About the RoleWe’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows,...

  • QA Engineer Tester AI LLM

    5 dni temu

    Warszawa, Polska DPDgroup IT Solutions Pełny etat

    About the Role We’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows,...

  • QA Engineer Tester AI LLM

    5 dni temu

    Warszawa, mazowieckie, Polska DPDgroup IT Solutions Pełny etat 12 zł

    About the RoleWe’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows,...

  • Senior AI Tester QA Specialist

    2 tygodni temu

    Warszawa, Polska Upvanta sp. z o.o. Pełny etat

    Poszukujemy doświadczonego Senior AI Testera (QA Specialist)z doświadczeniem w automatyzacji testów w Pythonie. Osoba na tym stanowisku będzie odpowiadać za nadzorowanie pełnego cyklu QA, mentoring młodszych członków zespołu oraz zapewnienie wysokiej jakości produktów opartych o rozwiązania AI. B2B: PLN na dzień Wspieranie i mentoring...

  • AI LLM Developer

    2 tygodni temu

    Warszawa, Polska RITS Professional Services Pełny etat

    AI/LLM Engineer (NLP, Generative AI, Python) Lokalizacja: 100% zdalnie lub hybrydowo (Warszawa) Forma współpracy: B2B Stawka: 140 (mid) –200 PLN (senior)/h netto Start: ASAP Wymiar: Full-time Czas trwania: projekt długoterminowy O projekcie Dołącz do zespołu pracującego nad zaawansowaną platformą opartą na sztucznej inteligencji i dużych...

  • Ekspert AI LLM

    4 tygodni temu

    Warszawa, mazowieckie, Polska Transition Technologies PSC Pełny etat

    Firma Algomine, należąca do grupy TTPSC, poszukuje Data ScientistPoszukujemy Eksperta AI/LLM, który dołączy do naszego zespołu, aby wspierać rozwój innowacyjnych rozwiązań opartych na sztucznej inteligencji i najnowszych modelach językowych. Szukamy osoby z szeroką wiedzą techniczną i architektoniczną, potrafiącej łączyć kompetencje...

  • AI LLM Developer

    3 tygodni temu

    Warszawa, mazowieckie, Polska RITS Professional Services Pełny etat 23 zł - 520 zł

    AI/LLM Engineer (NLP, Generative AI, Python)Lokalizacja: 100% zdalnie lub hybrydowo (Warszawa)Forma współpracy: B2BStawka: 140 (mid) –200 PLN (senior)/h nettoStart: ASAPWymiar: Full-timeCzas trwania: projekt długoterminowyO projekcieDołącz do zespołu pracującego nad zaawansowaną platformą opartą na sztucznej inteligencji i dużych modelach...

  • Quality Assurance Engineer

    2 tygodni temu

    Warszawa, Polska DPDgroup IT Solutions Pełny etat

    We’re looking for a QA Tester with strong AI literacy and data validation skills to test how AI agents behave and ensure that their outputs are stored accurately and reliably in backend systems. This is a manual, exploratory testing role — ideal for someone who can combine curiosity about AI behavior with practical knowledge of data flows, relational...

  • AI Engineer MLOps Engineer Python LLM Kubernetes GCP

    2 tygodni temu

    Warszawa, Polska RITS Professional Services Pełny etat

    Stanowisko: AI Engineer / MLOps Engineer (Python, LLM, Kubernetes, GCP) Lokalizacja: Warszawa, ul. Chmielna 89 (praca w biurze raz w tygodniu) Model pracy: hybrydowy Forma współpracy: B2B 150-170zł/h + VAT Planowany start: Czas współpracy: ponad 12 miesięcy Co oferujemy Długofalową współpracę (ponad 12 miesięcy) Pracę przy nowoczesnych...