bmti: add faster cg-based solver, remove old solvers

[AldoGl]

Proposed changes

I introduce a much more efficient solver for the solution of the BMTI linear system. The new solver makes the overall algorithm very memory- and time-efficient and scales roughly linearly with the number of points.

Types of changes

What types of changes does your code introduce?
Put an x in the boxes that apply

• Bugfix (non-breaking change which fixes an issue)
• New feature (non-breaking change which adds functionality)
• Breaking change (fix or feature that would cause existing functionality to not work as expected)

Checklist

Put an x in the boxes that apply.

• Lint and unit tests pass locally with my changes
• I have added tests that prove my fix is effective or that my feature works

[AldoGl]

The new solver is much faster than the old ones and is also very memory efficient, hence we don't need a "memory_efficient" flag anymore as we can have it efficient by default

[AldoGl]

As you can see from the modified test, the new estimates are within rtol=1e-5 and atol=1e-1 from the old ones. I think we can live with it!

[giovannidoni]

Questo repositiry implementa cose molto carine, che sospetto (sto già verificano) possano essere molto utili. Incoraggio il development e se serve posso dare una mano

[charliematteo]

Questo repositiry implementa cose molto carine, che sospetto (sto già verificano) possano essere molto utili. Incoraggio il development e se serve posso dare una mano

Ciao @giovannidoni, grazie mille! Ti riferisci a questo specifico branch o a DADApy in generale? Se ti interessa BMTI, la versione più aggiornata è sul branch bmti_solvers, che verrà mergiata al main molto presto.

Ad ogni modo, abbiamo molte direzioni di sviluppo in testa. Se ti interessa qualcosa in particolare facci sapere, possiamo pensarci assieme e/o dare priorità a quella

[giovannidoni]

Per prima cosa sottolineo la rilevanza in ambito commerciale. Oggi ho provato per la prima volta e ho notato che si blocca su density estimation ma nn sono riuscito a guardarci dentro. L'altra pr recente su more scalable algo sembra utile. Sto considerando di usare ADP per un lavoro, data la perf che ho visto, quindi penso che sia prioritario rendere l'implementazione corrente air tight.

[giovannidoni]

FYI, scrivo qui perchè è l'unico modo che ho di comm cn i maintainers. io ho cominciato da poco a portare Pamm in python https://github.com/giovannidoni/pypamm

[charliematteo]

Grazie mille dei feedback. Density estimation dici che si blocca nel senso che crasha o nel senso che rallenta, cioè c'è un bottleneck computazionale?

[giovannidoni]

non saprei, domani ci guardo ma si blocca su density estimation step; non credo sia un bottleneck dato la size del sys, ma a naso un while loop. Altra cosa che ho notato e' una exception su una density non finita qui

DADApy/dadapy/clustering.py

Line 102 in 368488d

assert not np.isnan(np.sum(self.log_den)), "log density contains nan values"

[charliematteo]

Allora ho due domande:

• che branch di DADApy stai usando? Il main o altri?
• che density estimator stai usando? Quando chiami data.compute_density_...()

In risposta alla tua domanda quella linea è un assert che controlla che tutte le logdensities e tutti gli errori sulle logdensities siano dei numeri e non siano NAN. Siccome il clustering si basa su queste due cose, se ci sono dei NAN negli array, quell'assert blocca tutto e dà un errore.

[giovannidoni]

che branch di DADApy stai usando? Il main o altri?

main (da pipy)

che density estimator stai usando? Quando chiami data.compute_density_...()

.compute_clustering_ADP(...)

a quella linea è un assert che controlla che tutte le logdensities e tutti gli errori sulle logdensities siano dei numeri e non siano NAN.

si, lo so, la domanda e' come mai. Varie ragioni immagino, ragionevoli, peraltro ma quale sarebbe il un fallback sensato?

[charliematteo]

.compute_clustering_ADP(...)

Prima di compute clustering però devi fare un compute density. Come si chiama quello che usi? PAk? kstarNN?

si, lo so, la domanda e' come mai. Varie ragioni immagino, ragionevoli, peraltro ma quale sarebbe il un fallback sensato?

Beh, la ragione è di "debugging", di controllo. Se le densità e gli errori hanno dei NAN devi capire il perché debuggando più che risolvere a run time. Anche perché di base compute_clustering_ADP(...) funziona a prescindere da come le densità e gli errori sono stati calcolati, non serve averli calcolati in DADApy.

[giovannidoni]

Nel caso specifico ho usato 2NN per la densita'

[charliematteo]

Nel caso specifico ho usato 2NN per la densita'

2NN è per la dimensione intrinseca. Che succede prima della densità. Se tra 2NN e ADP non hai chiamato nessun compute_density_... allora hai usato il default che è PAk.
E comunque non ho ancora capito se sulla density rallenta molto e si "impalla" senza mai uscire dal processo o proprio crasha

[giovannidoni]

No non va in crash, non ritorna, da cui l'ipotesi che sia un while loop e quello e' un primo problema che ho riscontrato; il secondo e' quello dei nans sulla densita. Ci riguardo e ti faccio sap che a mente potrei non essere troppo preciso

[charliematteo]

@giovannidoni se vuoi apri un issue su questo fatto che la densità si pianta. Che ne discutiamo lì. Potrebbe essere un effetto della dimensionalità dei tuoi dati, ma vediamo

[AldoGl]

This development has been brought to #154, let's discuss it there!