Garbage pickup date (mijnafvalwijzer.nl) custom_component

yes, apparently Afvalwijzer has stopped providing the json service. we might be forced to ditch this integration completely…

I have hopes we could revert to the scrape sensor we used before, but fear the worst. A dialogue has been initiated to see if Afvalwijzer could connect to HA.

see: https://github.com/xirixiz/homeassistant-afvalwijzer/issues/72#issuecomment-691026479

check https://github.com/xirixiz/homeassistant-afvalwijzer/releases/tag/4.4.0 for the new version that works again with Mijnafvalwijzer. thanks for developing so quickly!

1 Like

afvalwijzer has been removed from the hacss - intergrations ? is this because the version ( 2 ago) who broke down HA ? Or something else ?

Goodmorning,

I just received the message below from mijnafvalwijzer.nl. I don’t want to have discussions about this with mijnafvalwijzer.nl so I decided to remove the api and url information from the component. I asked them whether is possible to come up with a solution so everyone is happy. I`ll inform you when I received a reply.


Ik heb begrepen dat jij de ontwikkelaar bent achter een aantal projecten die op Github staan t.a.v. home-automation en data-fetching vanuit ons product ‘Mijn Afvalwijzer’.

Voorheen was deze API publiekelijk beschikbaar via ‘JSON.mijnafvalwijzer.nl’. Dit is inmiddels niet meer het geval en de API is publiekelijk niet meer beschikbaar. Om onze Apps te laten communiceren met de backend (de API.mijnafvalwijzer.nl) wordt gebruik gemaakt van een API-key. Deze key is klaarblijkelijk via reverse-engineering, of data-sniffing uit de app gehaald en wordt nu misbruikt om toegang tot de API te krijgen. De key is specifiek bedoelt om oneigenlijk toegang tot de dienst tegen te gaan.

Dit is niet de bedoeling. We willen je dan ook vriendelijk vragen de betreffende code (waar deze key gebruikt wordt) offline te halen. We zullen na een korte periode deze API-key sowieso gaan aanpassen en daarmee stopt de werking van de plugin. We begrijpen dat dit vervelend kan zijn voor diegene die home-automation gebruiken. Wellicht biedt de betreffende gemeente zelf een oplossing om deze data (publiekelijk) te benaderen.

Ik heb onderstaande mail gestuurd naar mijn gemeente. Ze reageerden positief en gingen het aankaarten. Misschien nog anderen die hun gemeente willen aanschrijven?

"Beste gemeente,

Deze vraag is bestemd voor de medewerker die afspraken maakt rondom het beschikbaar stellen van de afvalkalender via MijnAfvalwijzer.nl.

Tot voor kort stelde MijnAfvalwijzer.nl haar gegevens zodanig beschikbaar, dat ik die kon integreren in mijn huisautomatisering. Mijn slimme speaker kon mij zo 's ochtends vertellen dat ik afval langs de straat moest zetten. Perfect! Ik mis nooit meer een ophaaldag.

Echter is MijnAfvalwijzer gestopt met deze service. Binnenkort wordt hun API (het technische component waar deze gegevens vandaan komen) dichtgezet en werkt dan alleen nog voor hun eigen app. Geen automatische waarschuwingen meer voor mij :frowning:

Mijn vraag is: ik zou graag weer deze informatie via een API op willen kunnen halen. Ik weet natuurlijk niet wie precies achter die dienst zitten. Maar misschien zijn er kanalen om deze wens op de juiste plek neer te leggen?"

3 Likes

Ik heb ook een klacht ingedient bij de gemeente Rotterdam. Eens kijken wat die zeggen.

1 Like

In de tussentijd ben ik een alternatief aan het bouwen. Persoonlijk hou ik niet van de oplossing erachter (data schrapen van de website, oftwel een scaprer). Maar goed, voor diegenen die voor nu geen API key weten te achterhalen is dit wellicht een tijdelijke oplossing.

Ik heb overigen .gitignore ook aangepast omdat dat echt een keer nodig was :crazy_face: :wink:

Ik heb jouw voorbeeld gebruikt om een soortgelijke vraag via het vraag/idee formulier van Gemeente Utrecht te stellen. Bedankt voor het delen van jouw voorbeeld.

1 Like

Roelof, ik heb je voorbeeld gevolgd en de gemeente Dongen aangeschreven. Zeker geen grote gemeente maar alle beetjes helpen :slight_smile:

I hope the creators of Afvalwijzer.nl will get a lot of signals from their clients.

New release available - 4.4.3 (no API key required, same functionality!) :partying_face:

  • Add scraper functionality (default now, no api key required)
  • Make/keep the API functionality to be able to be configured
  • Updated INFO, README

Also the integration with HACS is back! So it’s available again in HACS!


Ik heb vandaag de nieuwste versie geïnstalleerd. Ondertussen ondervind ik dit probleem dat ik niet de eerstvolgende ophaal dag zie die op 24 september plaats vindt, maar pas de ophaaldag die na de eerstvolgende komt.

Is dit probleem bekend bij iemand?

ja dat zie ik ook.

heb net de nieuwe versie scraper laten opstarten, maar zie verschillende soorten afval die hier helemaal niet worden opgehaald. Worden die dan toch ‘gescraped’?

Klopt, textiel bijvoorbeeld. Die zal dus altijd geen waarde hebben wanneer die niet beschikbaar is op jouw adres. Ik ga dat nog verbeteren zodat je zelf kan kiezen voor welke afvaltypen je sensoren wilt.

Hoe dan ook verklaart het niet dat de first_* sensoren niet correct zijn. Ik heb het gestest met een aantal adressen die ik nog had vanuit de community uit het verleden, en daar zie ik geen issues.

  • @Deriise: Kan je jouw postcode en een willekeurig huisnummer aan mij sturen (pb), dan kijk ik even.
  • @Mariusthvdb: Heb jij exact hetzelfde issue?

ja, ik denk het wel. mijn _next template sensors moest ik nog aanpassen, en pbd en gft zijn niet correct maar afgezien daarvan was dit het beeld:

first_next_in_days: 8 trash_first_next_item: gft zijn incorrect
papier: 24 september en papier_next: 3 dus dat is correct

vergelijk met de api versie:

Thanks! Blijft vreemd dat ik het issue niet kan simmuleren, maar desondanks ga ik jouw data in een json zetten en dan parse ik dat… kijken wat er gebeurd :slight_smile:

1 Like

…update volgt vandaag

1 Like

Het was even puzzelen, maar het is gefixt in release 4.4.8.

De code voor de api zoekt/werkt voornamelijk op datums, de scraper daarintegen zoekt/werkt voornamelijk op afvaltype(n).

1 Like

hey, 4.4.8 werkt bijna helemaal goed in scrape versie. Enige afwijking hier is dat wij geen PMD hebben maar PBD.

opmerkelijk is wel dat de trash sensor daarvoor in de scraper wel gevonden wordt:

terwijl die in de api variant gewoon PBD wordt genoemd, en ook zo op de Phone App van Saver staat vermeld. Daar staat overigens ook GFT+E terwijl in de scraper gft wordt vermeld… Vandaar dat mijn template sensors _next nog niet correct zijn.


Wat te doen? PBD toevoegen aan de opties in de HA integratie en de scraper? of de template sensors aanpassen…?
thanks!

Hoi Marius, dat klopt! Lang verhaal, maar daar kan ik helaas niets aan veranderen bij de scraper, dan wordt de code erachter te onoverzichtelijk en mogelijk onstabiel. Laten we hopen dat de api alsnog binnenkort wordt opengesteld.

Wel was er nog een bug in de first_next sensors, vandaag werd default nog meegerekend. Dat is opgelost in 4.4.9